Google vill etablera en officiell standard för att använda robots.txt

Google har föreslagit en officiell internetstandard för reglerna som ingår i robots.txt-filer.

Dessa regler, som beskrivs i Robots Exclusion Protocol (REP), har varit en inofficiell standard de senaste 25 åren.

Även om REP har antagits av sökmotorer är det fortfarande inte officiellt, vilket innebär att det är öppet för tolkning av utvecklare. Vidare har det aldrig uppdaterats för att täcka dagens användningsscenarier.

Som Google säger skapar detta en utmaning för webbplatsägare eftersom den tvetydigt skrivna, de facto-standarden gjorde det svårt att skriva reglerna korrekt.

För att eliminera denna utmaning har Google dokumenterat hur REP används på den moderna webben och skickat den till Internet Engineering Task Force (IETF) för granskning.

Google förklarar vad som ingår i utkastet:

”Det föreslagna REP-utkastet återspeglar över 20 års erfarenhet av att använda sig av robots.txt-regler, som används både av Googlebot och andra större sökrobotar, liksom ungefär en halv miljard webbplatser som förlitar sig på REP. Dessa fininställningar ger utgivaren befogenhet att bestämma vad de skulle vilja ha indexerat på sin webbplats och eventuellt visas för intresserade användare. ”

Utkastet ändrar inte några av de regler som fastställdes 1994, det är bara en uppdatering för den moderna webben.

Några av de uppdaterade reglerna inkluderar:
Alla URI-baserade överföringsprotokoll kan använda robots.txt. Det är inte begränsat till HTTP längre. Kan också användas för FTP eller CoAP.

Utvecklare måste tolka åtminstone de första 500 kilobytes av en robots.txt.

En ny maximal cache-tid på 24 timmar eller cachedirektiv om det finns tillgängligt, vilket ger webbplatsägare flexibiliteten att uppdatera robots.txt när de vill.

När en robots.txt-fil blir oåtkomlig på grund av serverfel, indexeras inte kända otillåtna sidor under en rimligt lång tidsperiod.

Google är fullt öppna för feedback om det föreslagna utkastet och säger att det är i deras intresse att få det rätt.

Konsultation

Vi erbjuder er 60 minuter fri konsultation.

Prenumerera på nyhetsbrev

Börja din prenumeration på vårat nyhetsbrev för att få de senaste nyheterna och uppdateringarna från oss.

Tack för ditt intresse av vårat nyhetsbrev.