Il web può essere paragonato ad una città in continua espansione, in cui ogni pagina rappresenta un edificio e ogni collegamento ipertestuale una strada che conduce ad altre destinazioni. Gli spider (o crawler) possono essere immaginati come esploratori automatizzati che percorrono queste strade al fine di analizzare i contenuti e inserirne tutte le informazioni nell’indice del motore di ricerca. Al loro arrivo in un sito, gli spider non si limitano a interpretarne il contenuto ma seguono i collegamenti interni ed esterni, ampliando progressivamente la propria “mappa” del territorio digitale.

Prima dell’era di Google, che oggi è certamente il motore di ricerca dotato della tecnologia di scansione più avanzata, il c.d. web invisibile era infinitamente più vasto rispetto a oggi e, conseguentemente, il raggio d’azione degli spider risultava molto più limitato. Già nel febbraio 1994, agli albori dell’era dei motori di ricerca, Martijn Koster – un software engineer danese – propose l’adozione di un protocollo per consentire ai webmaster di limitare l’attività degli spider sul proprio sito web, indicando bot indesiderati e/o aree del sito interdette al loro accesso. Si deve considerare che a quel tempo l’attività degli spider, per quanto molto ridotta, poteva impattare non poco sulla funzionalità dei webserver, dalle risorse decisamente limitate.

L’idea piacque così tanto che nell’arco di pochi mesi il RobotsNotWanted.txt poi semplificato in robots.txt divenne uno standard di fatto, supportato dai principali motori dell’epoca quali WebCrawler o Altavista.