Cos’è il file robots.txt Giuseppe FavaComunicare correttamente ai motori di ricerca quali sono le pagine e gli articoli da indicizzare e quali no, è fondamentale per evitare che il tuo blog venga penalizzato nell’indicizzazione! Ecco perché è importante capire cos’è il file robots.txt e come configurarlo al meglio.Nella guida di oggi ti spiego i segreti di uno dei file più importanti per l’indicizzazione del tuo sito nei motori di ricerca… il file robots.txt. Sei pronto? Ecco spiegato cos’è il file robots.txt!Cos’è il file robots.txtQuando un motore di ricerca visita un sito per indicizzarne i contenuti, il primo file che tenta di caricare è robots.txt perché questo file contiene le direttive per la scansione, cioè i comandi che dicono al crowler (il software incaricato della scansione) quali file e directory del sito indicizzare e quali scartare. Oltre a questo fornisce informazioni che determinano ogni quanto ripetere la scansione e molto altro ancora.Quali sono i comandi da usare nel file robots.txt?Comandi baseLa struttura di un file robots.txt è molto semplice e sostanzialmente composta da righe contenenti istruzioni nella forma:<campo> : <valore>I campi disponibili sono principalmente due:User-Agent: specifica il nome del crawler a cui sono destinate le direttive.
Per leggere il resto dell’articolo devi collegarti direttamente sul sito della fonte:
