Robots.txt, Robots txt, Robot txt
Robots.txt: Guida all'Utilizzo del File Robots.txt
Il robots.txt è un file che serve per comunicare agli spider di motori di ricerca se indicizzare o non indicizzare alcuni file, pagine o cartelle del sito.
Come creare il robots.txt?
Per creare il file basta aprire il Blocco Note e salvare il file come robots.txt.
Cosa devo scrivere all'interno del robots.txt?
La procedura da seguire è molto semplice. All'interno del file ogni riga contiene un record.
La sintassi da seguire è:
<campo> : <valore>
Campo - spazio - due punti - spazio - valore
I principali campi che è possibile utilizzare sono due: User-Agent e Disallow.
User-Agent serve per definire a quale spider ci si rivolge. Ci si può rivolgere a tutti i crawler utilizzando l'asterisco *, oppure ai singoli robot dichiarandone il nome.
| User-Agent: * | # mi rivolgo a tutti gli spider |
| User-Agent: googlebot | # mi rivolgo solo allo spider di Google |
| User-Agent: slurp | # mi rivolgo solo allo spider di Yahoo |
Disallow: serve per comunicare la pagina o la cartella che non si vuole fare indicizzare.
| Disallow: * | # comunico agli spider di non indicizzare neanche una pagina |
| Disallow: /pagina.html | # comunico agli spider di non indicizzare la /pagina.html |
| Disallow: /sito/ | # comunico agli spider di non indicizzare l'intera cartella /sito/ |
| Disallow: /cartella/pagina.html |
# comunico agli spider di non indicizzare la pagina pagina.html contenuta all'interno della /cartella/ |
Scopri tutti i nomi degli spider!
Dove devo pubblicare il file robots.txt?
Il file robots.txt va caricato online nella root del sito, cioè all'interno della cartella principale.
Ad esempio se il vostro sito ha url http://www.nomesito.it, il file robots.txt sarà raggiungibile a questo indirizzo: http://www.nomesito.it/robots.txt.
Una volta pubblicato online, potete quindi verificare all'indirizzo http://www.nomesito.it/robots.txt se avete caricato correttamente il file. In caso visualizziate una pagina di errore 404 (file non trovato), controllate di averlo caricato nella cartella giusta.
Clicca qui per visualizzare alcuni esempi pratici.