Del file robots.txt hanno sentito parlare in molti, ma non tutti sanno l’importanza che riveste. In sostanza, si tratta di un file posizionato nella root dell’albero gerarchico dei files e viene utilizzato per dare delle istruzioni precise ai crawlers dei motori di ricerca. Tramite tali istruzioni si comunica ai search engines di non indicizzare una pagina, un sito, una directory del proprio sito o anche per rimuovere una o più immagini da Google Images e simili.

Avevo già scritto,a tal proposito, qualche cosa sulle istruzioni più importanti da inserire nel robots.txt e continuo ad esser dell’idea che è molto più vantaggioso e conveniente provvedere alla creazione e all’aggiornamento di un file robots.txt in autonomia.

Ma non tutti vogliono, possono o sono in grado di farlo correttamente ed ecco che allora vi fornisco una lista di generatori e validatori di file robots.txt cui affidarvi nel caso non vogliate rischiare di far tutto da soli.

Generatori

Google Webmaster tools: Include un Robots.txt generator che consente semplicemente di creare un file Robots.txt. La cosa utile ed interessante di questo tool è la possibilità di aggiungere automaticamente comandi per l’esigenza specifica in modo da poter creare il file finale completo di tutto ciò che volete non sia indicizzato dai motori di ricerca.

Semplice ed intuitivo, direi.

SEObook Robots.txt generator molto simile anche se meno completo del tool precedente, ma sicuramente di una semplicità tale che può esser davvero utilizzato da tutti.

Mostra un’anteprima del codice del file robots.txt che state creando.

Robot Control Code Generation Tool : rispetto ai due tools precedenti ha meno possibilità di opzioni, ma mette a disposizione la possibilità di scegliere i bots (o spiders) di quale motori bloccare o meno.

Nulla vi vieta, logicamente, di utilizzare anche più di uno dei servizi presentati e di unire solo alla fine il codice ottenuto per avere il file robots.txt finale secondo le vostre esigenze.

Validatori

I seguenti validatori sono tra i più affidabili a disposizione in rete e anche tra i pochi che affidano i loro controlli basandosi su due documenti basilari a tal riguardo :

- 1994 document A Standard for Robot Exclusion

- 1997 Internet Draft specification A Method for Web Robots Control

Vediamoli in dettaglio

Google Webmaster tools: Il tool, come avrete intuito, permette non solo la creazione di un file robots.txt, ma anche  la sua analisi completa secondo i dictates di Googlebot.

Robots.txt Syntax Checker : vero e proprio validatore che consente un’analisi approfondita del file mettendo in evidenza errori comuni come spazi bianchi inopportuni, standards non supportati, uso sbagliato di wildcard etc.

A Validator for Robots.txt Files : altro ottimo validatore di errori di sintassi che conferma anche la bontà dei vari directory paths presenti all’interno del file.

Se ne avete, si accettano altri suggerimenti.