Robots

Cosa ricevi

• Il file robots.txt riscritto, con le regole minime e commentate (su Wix e Squarespace, dove il file si modifica poco o niente, il controllo e la spiegazione di quello che c'è)
• Google tiene il suo tempo per le pagine che contano: area riservata, carrello e ricerca interna esclusi
• Nessuna pagina importante chiusa fuori per sbaglio, controllato con gli strumenti di Google
• La spiegazione del file riga per riga
• La conferma del rapporto di Search Console

Come lo faccio

Il file robots.txt dice ai robot dove non serve che vadano. Il lavoro sta nel bloccare solo quello che spreca tempo, senza mai chiudere fuori per errore quello che deve essere trovato.

1. Leggere il file attualeApro il file in una finestra anonima e leggo il rapporto robots.txt di Search Console: ultima lettura, errori, avvisi.Perché conta: Un blocco lasciato dalla fase di sviluppo può tenere fuori da Google tutto il sito senza che nessuno se ne accorga.
2. Analisi riga per rigaPer ogni regola dico cosa blocca, se è voluto, se tocca risorse o pagine importanti.Perché conta: Bloccare CSS e JavaScript impedisce a Google di vedere la pagina come la vede un visitatore.
3. Incrocio con il rapporto PagineLeggo le pagine «Bloccata da robots.txt» e «Indicizzata, ma bloccata da robots.txt».Perché conta: Una pagina bloccata può comparire lo stesso su Google, senza descrizione, se qualcuno la linka.
4. RiscritturaScrivo regole minime e commentate: area riservata, carrello e pagamento, ricerca interna, filtri infiniti, più la riga della sitemap.Perché conta: Regole copiate da un altro sito con un'altra piattaforma bloccano cose che da te servono.
5. Pubblicazione e controlloPubblico, chiedo una nuova lettura in Search Console e controllo che su 3 pagine importanti la scansione sia consentita.Perché conta: Senza il controllo su pagine vere non si sa se una regola larga ha preso troppo.

Le tecniche che uso

Disallow

La regola che chiede ai robot di non visitare un percorso; non toglie le pagine da Google.

noindex

L'istruzione che toglie una pagina da Google; perché funzioni la pagina non deve essere bloccata nel file per i robot.

Crawl budget

Il tempo che Google dedica al sito, che non va sprecato su carrello, ricerca interna e filtri.

Rapporto robots.txt

La sezione di Search Console che mostra quando Google ha letto il file e con quali errori.

Cosa comprende il prezzo

La modifica compresa: Ogni servizio comprende un giro di modifiche: guardiamo insieme la prima versione, mi scrivi in un elenco quello che non va e lo riadatto. Le modifiche in più, o le cose aggiunte dopo, si pagano a parte, con il costo scritto prima, nella lettera d'incarico.

La call di presentazione: Una call di presentazione per ordine: cosa fa il file e cosa non fa.