Il File Robots

IL FILE ROBOTS.TXT

Questo file va messo nella root del sito.

Ad esempio per il mio sarà http://www.giorgiotave.it/robots.txt

Io l'ho inserito lo stesso questo file, però come giusta regola non dovevo farlo in quanto con questo file si

possono escludere cartelle o file dall'indicizzazione. Nel mio robots non escludo niente, il comportamento dello

spider sarà lo stesso. Molte voci di corridoio dicono che allo spider di google piace trovare questo file, ma

queste voci non sono verificate.

Il file è composto da questi campi:

User-agent:

Disallow:

Nel campo User-agent devi mettere il nome dello spider. Con il simbolo * ti stai riferendo a tutti gli spider.

Nel campo Disallow dirai cosa non vuoi che lo spider prelevi.

Stai dicendo a tutti gli spider che non ci sono file che vuoi che non prelevino

User-agent: *

Disallow:

Dici a google di non prendere il file ciao.htm

User-agent: googlebot

Disallow: /ciao.htm

Dici a google di non prendere niente nella cartella ciao

User-agent: googlebot

Disallow: /ciao/

Ecco una lista di spider

http://www.robotstxt.org/wc/active/html/index.html

Nonostante tutto ci sono alcuni motori di ricerca che non seguono questo tipo di indicazioni.

I META TAG

I META TAG
I meta tag importanti usati per i motori di ricerca sono:

Devi sapere che questi tag non sono fondamentali per il posizionamento. Puoi benissimo essere primo nei
motori di ricerca senza avere i meta tag. Questi meta tag possono dare un piccolo aiuto al posizionamento, ma
il loro peso è oramai diminuito e addirittura alcuni motori ignorano il meta tag keywords. Vediamoli uno ad
uno.

Alcuni motori di ricerca propongono questo meta tag come descrizione. Google non lo mostra come descrizione,
infatti come descrizione mostra la frase del sito che per lui è rilevante per la chiave.
Questo meta tag può essere sfruttato per farlo apparire in Google come descrizione. Se si ottimizza una chiave
particolare, basta inserire questa chiave all'inizio del tag description per rafforzare di più il posizionamento e
ottenere un risultato migliore.
Il tag deve essere usato bene perche' insieme al title è quello che stimola l'utente a cliccare sul tuo sito.
Una buona description deve essere la continuazione del messaggio che tu vuoi mandare nel tag title.
Se in un sito non si inserisce la description Google andrà a prendere la prima frase nel body dove parla la key.
Una cosa che ho notato è che in alcuni siti Google ignora la description quando questa è uguale al title. Non lo
fà sempre, ma a volte si.

Questo meta tag è ignorato da alcuni motori di ricerca.
E' inutile che metti una sfilza di chiavi che somigliano al vocabolario italiano. Se lo vuoi usare metti solo le
chiavi che devi ottimizzare per la tua paginetta.

Questo tag non serve per il posizionamento, ma per dare delle direttive allo spider che visita la pagina.
Questo tag si usa per dire allo spider di archiviare o meno la pagina web e per dire di seguire o meno i link
contenuti nella pagina.
· INDEX: comunica allo spider di archiviare la pagina nel database
· NOINDEX: comunica allo spider di non archiviare la pagina
· FOLLOW: comunica allo spider di seguire i link nella pagina
· NOFOLLOW: comunica allo spider di non seguire i link nella pagina
Questi tag non sono seguiti da tutti gli spider dei motori. Alcuni, con fini diversi, li ignorano completamente.
Questo tag devi inserirlo in tutte le pagine del sito.
Oltre a questo meta tag esiste anche il file robots.txt che ha delle funzioni "simili". Nel prossimo articolo
spieghero' Il file robots.txt