llms.txt: ein neuer Standard für effiziente AI-Crawler

Es gibt zunehmend Berichte über AI-Systeme und Crawler, die hohen Website-Traffic verursachen und damit die Kosten für Website-Betreiber erhöhen. Gleichzeitig gibt es den neuen Standard llms.txt, über den solche Systeme wichtige Inhalte und Deep Links aus einer einzigen, statischen Textdatei beziehen können.

Bei Tanner Lab generieren wir llms.txt automatisch während der Build-Zeit direkt aus unseren Übersetzungsdateien: tannerlab.ch/llms.txt

Was ist llms.txt?

llms.txt ist eine statische Textdatei, über die AI-Systeme alle relevanten Informationen einer Website gebündelt und strukturiert abrufen können - inklusive Links zu wichtigen Unterseiten. Das reduziert Crawling, Serverlast und unkontrollierte Zugriffe und verbessert die Datenqualität für AI-Anwendungen.

Warum wichtig

• LLMs bleiben Teil digitaler Produkte. llms.txt stellt Inhalte ressourcenschonend, strukturiert und kontrolliert für AI bereit.
• AI Engineers können effizientere Crawler bauen, ohne die Website zu belasten.
• Eine zentrale, gut strukturierte Quelle vereinfacht zukünftige Integrationen.