robots.txt für Crawler, llms.txt für KI-Modelle
robots.txt regelt seit den Anfängen des Webs, welche Bereiche einer Website von Suchmaschinen-Crawlern besucht werden dürfen. llms.txt verfolgt eine ähnliche Idee für eine neue Zielgruppe: Es bietet KI-Sprachmodellen eine kuratierte, kompakte Zusammenfassung der wichtigsten Inhalte.
Was in einer llms.txt steht
Typischerweise enthält die Datei eine kurze Beschreibung der Website, Links zu den wichtigsten Unterseiten sowie kompakte Zusammenfassungen zentraler Inhalte – im einfachen Markdown-Format, damit Sprachmodelle es ohne aufwendiges Parsing der HTML-Struktur direkt verarbeiten können.
Wie relevant ist der Standard aktuell wirklich
Anders als robots.txt ist llms.txt kein offiziell von allen großen Anbietern bestätigter Standard. Manche KI-Systeme berücksichtigen die Datei bereits, andere ignorieren sie schlicht. Die Entwicklung ist noch im Fluss.
Sollte ich jetzt schon eine llms.txt anlegen
Da der Aufwand gering ist und potenzielle Vorteile bei wachsender Verbreitung entstehen können, spricht wenig dagegen, die Datei frühzeitig anzulegen – solange sie nicht mit unrealistischen Erwartungen an sofortige Wirkung verbunden wird.
Eine sinnvoll gepflegte llms.txt für ein Unternehmen wie Bavarian Code würde kompakt zusammenfassen: Kernleistung Webdesign & Webentwicklung, ergänzt um individuelle Softwareentwicklung, das Windows-Tool Cool-Box und Drohnenaufnahmen für Immobilien und Unternehmen – so, dass eine KI diese vier Bereiche auf Anhieb korrekt erfasst.