PreferiumStandarder27. aug. 2026
llms.txt, agents.txt og agent.json: hva er faktisk tatt i bruk?
Det har kommet en håndfull filformater som skal fortelle AI-agenter hva et nettsted er og hva de får gjøre. Noen av dem er nyttige i dag. Andre er forslag som ingen store aktører har forpliktet seg til ennå — og det bør sies høyt.
Kort oppsummert
- robots.txt er den eneste av filene med dokumentert effekt i dag.
- llms.txt er bredt tatt i bruk, men ingen stor modellleverandør har bekreftet at de leser den.
- Generer filene automatisk — da koster de ingenting og er på plass hvis de blir lest.
- Skill mellom å tillate trening og å tillate henting. Det er to ulike valg.
Hva de fire filene forsøker å løse
robots.txt sier hvem som får hente hva. Den er tjue år gammel, universelt respektert, og sier ingenting om hva nettstedet handler om.
llms.txt er et forslag om en kort, guidet oversikt skrevet for språkmodeller: hva finnes her, hvor ligger det viktigste, hva bør du lese først. agent.json og agents.txt gjør omtrent det samme i maskinlesbar og tekstlig form, med vekt på hvilke handlinger en agent kan utføre.
Status i august 2026, uten pynt
robots.txt respekteres av alle crawlerne som betyr noe, inkludert GPTBot, ClaudeBot, PerplexityBot og Google-Extended. Den er den eneste av filene som har reell, dokumentert effekt på om dere blir hentet.
llms.txt har fått bred oppslutning blant utviklerverktøy og dokumentasjonssider, men ingen av de store modellleverandørene har offentlig bekreftet at de leser den ved henting. Vi ser ikke målbar forskjell i sitatfrekvens på nettsteder som har den, mot dem som ikke har den.
agent.json og agents.txt er tidligere ute. De løser et reelt problem, men de er ikke tatt i bruk bredt nok til at fraværet koster dere noe.
Hvorfor vi likevel serverer alle fire
Fordi kostnaden er null når filene genereres fra det levende nettstedet i stedet for å vedlikeholdes for hånd. Ingen skal huske å oppdatere en fil når en side endres — den skrives på nytt fordi siden endret seg.
Og fordi asymmetrien er tydelig: er de uten effekt, har dere tapt ingenting. Blir én av dem lest neste år, er dere allerede der. Det er ikke et argument for å bruke tid på dem manuelt, men det er et godt argument for å la dem være automatiske.
Filen som faktisk fortjener oppmerksomheten deres
robots.txt. Vi finner jevnlig nettsteder som blokkerer AI-crawlerne uten å vite det — enten fordi en gammel regel fanger dem bredt, eller fordi noen slo det på i en periode da alle var bekymret for at innholdet skulle brukes til trening.
Konsekvensen er absolutt: en blokkert crawler kan ikke sitere dere, og ingen mengde innholdsarbeid endrer på det. Det er den ene filen der en feil koster synlighet i dag, ikke kanskje om to år.
Valget om trening er ikke det samme som valget om synlighet
Mange blander to spørsmål som bør holdes fra hverandre. Det ene er om innholdet deres kan brukes til å trene en modell. Det andre er om det kan hentes for å besvare et spørsmål her og nå.
Flere crawlere skiller på dette, og dere kan si ja til det ene og nei til det andre. Ta stillingen bevisst i stedet for å blokkere alt av forsiktighet — det siste er den vanligste grunnen vi ser til at et nettsted er usynlig i AI-svar.
Det vi ikke vil påstå
Vi vet ikke hvilke av disse filene som vinner. Ingen gjør det. Alle som selger dere en llms.txt-strategi med tallfestet gevinst, oppgir en gevinst de ikke kan dokumentere.
Det vi vet er hva som virker i dag: hentbar HTML, riktige robots-regler, strukturerte data og sider som svarer på et konkret spørsmål. Filene er billig forsikring på toppen av det, ikke en erstatning for det.
Les videre