197
Molti esperti SEO nella loro pratica hanno affrontato la riluttanza dei motori di ricerca a indicizzare determinate pagine del sito, mentre nel 90% dei casi le cause di questi problemi sono banali: la chiusura accidentale delle pagine in robots.txt, divieto di indicizzazione tramite meta robots, canonici errati e opzioni simili.
Tuttavia, non è sufficiente trovare ed eliminare la causa dell'indicizzazione errata. Una volta eliminato, è necessario inviare contenuti importanti per la reindicizzazione il prima possibile e assicurarsi che il sito e le pagine di interesse siano stati indicizzati.
In questo articolo, condivideremo tutte le opzioni di indicizzazione delle pagine trovate nel motore di ricerca di Google.
Modi per accelerare l'indicizzazione in Google
1. Google Search Console (GSC)
Il modo più comune per indicizzare / reindicizzare le pagine in modalità «manuale» è tramite il pannello Webmaster di Google.
Le pagine vengono indicizzate rapidamente (da pochi secondi prima di apparire nella ricerca), tuttavia, il lavoro avviene in modalità pagina per pagina + è necessario il tempo per scansionare la pagina da un bot di ricerca, quindi questo metodo è efficace, ma non il più conveniente, poiché non è possibile caricare immediatamente un elenco da un gruppo di URL e inviarlo per l'indicizzazione
2. Sitemap.xml
L'utilizzo di una sitemap XML è un metodo classico per accelerare l'indicizzazione di nuove pagine. Questo viene implementato specificando un collegamento ipertestuale a un file sitemap Sitemap.xml nel file Robots.txt (ovviamente, prima di ciò, è necessario creare la Sitemap stessa.xml).. Sitemap.xml »
Questo di solito è abbastanza per qualsiasi tipo di sito.
Per creare una mappa del sito, ci sono molti plugin diversi su CMS popolari e può anche essere creato utilizzando uno dei crawler web o desktop, ad esempio, tramite SiteAnalyzer gratuito.. SiteAnalyzer »
3. Ping Della Sitemap.xml
Il ping fa sì che il crawler esegua un trasferimento in linea della tua Sitemap.xml. Questo è un analogo dell'aggiunta di sitemap a Google Search Console. Pertanto, inviamo a Google un ulteriore segnale sulla necessità di riorganizzare la mappa del sito, il che accelera così la probabilità di indicizzazione delle pagine (tuttavia, non il fatto che il bot si affretta immediatamente a aggirarle).
Collegamenti per eseguire il ping di sitemap su Google e Bing:
- Google: http://google.com/webmasters/tools/ping?sitemap=https://site-analyzer.pro/sitemap.xml
- Bing: https://www.bing.com/ping?sitemap=https://site-analyzer.pro/sitemap.xml
4. Installazione di reindirizzamenti 301 dalle pagine del sito di traffico
Questa soluzione consente di spostare parzialmente il peso statico e il traffico da un sito di alta qualità a un sito per il quale è necessaria una maggiore attenzione da parte dei bot di ricerca o ci sono problemi con la sua indicizzazione.
Ho inserito un reindirizzamento da una pagina «Notizie " di un sito con un buon traffico a una pagina simile di un sito che aveva problemi di indicizzazione. Il reindirizzamento è stato «preso in considerazione» da Google il secondo giorno e la pagina del sito del donatore è scomparsa dall'indice di Google.
Dopo che la pagina del sito di accettazione è stata indicizzata, il reindirizzamento può essere rimosso.
5. Rimuovere un sito dal Webmaster di Google e aggiungere nuovamente il sito
L'idea era che il motore di ricerca prestasse «attenzione» al sito e, così facendo, camminasse di nuovo attraverso le pagine.
L'esperimento non ha funzionato, poiché quando il progetto è stato aggiunto di nuovo, ha mostrato immediatamente robots.txt e altre impostazioni precedentemente applicate-apparentemente quando si elimina il sito è semplicemente nascosto dall'elenco, quindi quando si «aggiunge» di nuovo viene visualizzato di nuovo.
6. Chiusura completa del sito dall'indicizzazione
Chiudiamo il sito Web di Google in robots.txt per la deindicizzazione completa.
Al momento del test, l'indice conteneva la "prima" versione della pagina con WWW e nessuna copia salvata (sito giovane). Alla scoperta della versione aggiornata di robots.txt Google ha impiegato 1-2 ore. Dopo 2 giorni, l'unica pagina precedentemente indicizzata è scomparsa dall'indice. Il sito ha 0 pagine rimanenti nella ricerca di Google.
Dopo la completa deindicizzazione, è stato aperto robots.txt per il bot di Google.
Tuttavia, a giudicare dai log, il bot è andato una volta al giorno, quindi è andato una volta al giorno e ha continuato. In generale, la frequenza delle visite al sito da parte del bot di Google non è cambiata.
7. Aggiunta di annunci a Google AdSense
Di solito, se il sito non viene moderato in Google AdSense, nell'account personale viene visualizzato un elenco di possibili motivi per cui il sito non è stato accettato (la verifica richiede fino a due settimane, mi ci sono voluti uno e mezzo). Queste informazioni possono aiutare a determinare le cause di ciò che è sbagliato nel sito.
Cosa è successo in generale: il sito non è stato accettato con la nota "contenuto di bassa qualità".
Non credo che il basso livello di indicizzazione del sito fosse correlato a questo. Ma almeno abbiamo ricevuto una risposta più o meno Sensata che potrebbe tornare utile un'altra volta (ad esempio, per determinare le sanzioni imposte al sito).
8. Trasferimento tramite Google Translate
Questo metodo si basa sul presupposto che» bandendo " le pagine attraverso i servizi di Google, prestiamo loro ulteriore attenzione ai bot di ricerca.
Incolla L'URL del sito in Google Traduttore, segui il link con la traduzione della pagina, incrociamo le dita e speriamo in un miracolo.
Nel mio caso, non è successo alcun miracolo.
9. Indirizziamo il traffico dai social network e dai telegrammi
Per accelerare l'indicizzazione del sito, è possibile condividere post sui social network (Twitter, Facebook, Linkedin, ecc.) o pubblicando post su Telegram (in realtà, questo è lo stesso di attirare traffico dai social network, ma avviene inserendo collegamenti al sito da post pubblicitari su canali tematici).
Al momento, i collegamenti dai social network non sono indicizzati dai motori di ricerca e non vengono presi in considerazione nella classifica, quindi questa opzione per accelerare l'indicizzazione del sito molto probabilmente non sarà efficace, tuttavia, questo può attirare traffico «live» sul sito, a causa del quale i bot di ricerca entreranno più spesso e indicizzeranno più contenuti.
10. Traffico dal contesto
Creiamo campagne pubblicitarie in Google AdWords e indirizziamo il traffico verso le pagine di destinazione per indicizzarle più rapidamente, in modo che i bot di ricerca visitino più spesso le pagine del sito, aumentando così la probabilità che vengano indicizzate.
11. Verifica dell'ottimizzazione mobile in Google Search Console
Usiamo la pagina di test della versione mobile del sito per indicare al bot le nuove pagine: https://search.google.com/test/mobile-friendly/result?id=28OJNYqIhMMT4grjojk-uw
Anche in questo caso, l'ipotesi è che l'invio di Google un segnale in più per la modifica delle pagine del sito attraverso lo strumento di test della versione mobile, si presterà maggiore attenzione al sito. Tuttavia, non sono sicuro che questo dia almeno un risultato tangibile.
12. Traffico da Pinterest
Pinterest è un popolare mercato di contenuti in Occidente, il che lo rende attraente non solo per i visitatori, ma anche per i bot dei motori di ricerca. È costantemente «abitato» dai bot di ricerca, in particolare dal bot di Google, quindi creando facilmente pin, puoi indirizzare il bot di Google alle pagine di interesse del sito.
Nel mio caso, non ha prodotto risultati.
13. Esegui gli indicizzatori di massa basati sulle schede del browser Google Chrome
Per quanto ne so, se questo argomento ha funzionato una volta (il servizio IndexGator e i suoi analoghi), ora è assolutamente morto.
Sì, e dai log del server-dopo tale indicizzazione, il robot non è andato al sito.
14. Creazione Di Una Sitemap.txt
Sitemap.txt è una versione semplificata della sitemap Sitemap.xml. È essenzialmente lo stesso elenco di URL del sito, ma senza specificare attributi aggiuntivi (lastmod, priority, frequency).
https://mysite.com/
https://mysite.com/page-1/
https://mysite.com/page-2/
https://mysite.com/page-3/
https://mysite.com/page-4/
https://mysite.com/page-5/
Questa opzione è meno comune di una normale Sitemap.xml, ma comunque quando si aggiunge un riferimento ad esso in robots.txt, i bot iniziano a scansionarlo non meno volentieri di una normale Sitemap.
15. Rivestimento interno
Accelerare l'indicizzazione collegando le nuove pagine del sito da pagine " hub " (pagine ad alto traffico / Peso).
Di solito, uno script è scritto per questo, che prende pacchetti di collegamenti non indicizzati da un elenco pre-preparato e li posiziona su pagine particolarmente visitate. Dopo che le pagine sono state indicizzate, viene posizionato il successivo blocco di collegamenti e così via. L'indicizzazione viene verificata tramite vari servizi o tramite L'API di Google Webmaster Tools.
16. Costruire massa referenziale esterna
Google riconosce che le pagine sono affidabili se sono collegate da siti affidabili.
Avere backlink dice a Google che le pagine sono importanti e dovrebbero essere indicizzate.
Pertanto, aumentando la massa di link esterni di qualità alle pagine promosse e al sito in generale, è possibile segnalare a Google che un determinato sito deve prestare maggiore attenzione e crawl dei contenuti più spesso.
17. Metodo creativo con Flickr (Custodia Viktor Karpenko)
Creiamo un account su Flickr photohosting, carichiamo molte foto lì (migliaia, o meglio decine di migliaia) - prendiamo una foto non importa da dove, puoi persino usare altri photohosting, Instagram, ecc.
Sotto ogni foto scriviamo che quando usi una foto, devi inserire un link al sito che stai promuovendo (non dimenticare di menzionare il suo URL).
Di conseguenza, è possibile ottenere gratuitamente traffico e dozzine di collegamenti mensilmente da buoni siti e media.
Nota. L'esempio si riferisce più al link building, ma ti consente anche di indirizzare il traffico verso pagine specifiche del tuo sito e quindi migliorare la loro indicizzazione.
18. Indicizzazione tramite Google Indexing API
Spremere le istruzioni per PHP Da Parte Dell'utente Mahmoud:
- Registriamo un account di servizio in Google Cloud, otteniamo una chiave di accesso (file json), diamo i diritti dell'account di servizio alla console Serch, abilitiamo L'API in Google Cloud.
- Creiamo uno script PHP da cui verrà aggiunto L'URL all'indice.
- Scarica da Github client per lavorare con api: https://github.com/googleapis/google-api-php-client
- Codice per l'aggiunta batch di query:
require_once '/_google-api-php-client/vendor/autoload.php';
$client = new \Google_Client();
$client->setAuthConfig('/_google-api-php-client-php70/blablabla-777c77777777.json'); // path to json file received when creating a service account
$client->addScope('https://www.googleapis.com/auth/indexing');
$client->setUseBatch(true);
$service = new \Google_Service_Indexing($client);
$batch = $service->createBatch();
foreach ($links as $link) // URLs list
{
$postBody = new \Google_Service_Indexing_UrlNotification();
$postBody->setUrl($link);
$postBody->setType('URL_UPDATED');
$batch->add($service->urlNotifications->publish($postBody));
}
$results = $batch->execute();
print_r($results);
- In risposta, $batch->execute() invia un array in base al numero di collegamenti nella richiesta (se la risposta ha \Google\Service\Exception, il codice 429 supera il limite, 403 - problemi con la chiave di accesso o l'abilitazione dell'api, 400 - dati della curva).
- Link alla descrizione degli errori: https://developers.google.com/search/apis/indexing-api/v3/core-errors?hl=ru#api-errors
- Non dimenticare di collegare L'account API con la console di Google + esporsi al proprietario (proprietario), altrimenti lo script non funzionerà (nell'array verrà visualizzato un errore 404, che non è possibile accedere all'indicizzazione del sito - Autorizzazione negata. Failed to verify the URL ownership).
Nota: mi ci sono voluti ~40 minuti per scrivere lo script, incluso il tempo per piccoli «tappi» e googling errori.
19. Blocco dell'accesso al bot di Google (caso Vladimir Vershinin)
Ho notato che i documenti vengono aggiunti male su uno dei progetti nell'indice di Google. Giravano, giravano-tutto inutile.
Per motivi indiretti, è emersa l'ipotesi che i bot non possano ottenere qualcosa dalle risorse, poiché vengono tagliati a livello di servizio per la protezione da DDoS.
Abbiamo aggiunto l'elenco / ipranges / alla whitelist del servizio di protezione DDoS il 26 e già il 27 abbiamo ricevuto +50K documenti nell'indice e attualmente per 15 giorni già +300K documenti nell'indice.
La maggior parte dei documenti» volati «giaceva nel GSC come»scansionato, ma non ancora indicizzato".
Collegamento all'intervallo IP dei bot di Google: https://developers.google.com/search/apis/ipranges/googlebot.json
20. Scrivi A John Mueller
Twittare a John Mueller, descrivere il tuo problema, incrociare le dita e aspettare una risposta. Twitter »
Nel mio caso non ha funzionato, nessuno mi ha risposto, non sono apparse nuove pagine nell'indice. Strano, certo, e va bene.
Ma chissà, potresti essere fortunato )
***
Non sembrano esserci più opzioni note per accelerare l'indicizzazione di pagine nuove e vecchie. Tuttavia, se improvvisamente mi manca qualcosa, ti chiedo di condividere i tuoi casi ed esempi nei commenti - sono felice di integrare l'articolo con loro.
P.S. IndexNow. Per una copertura completa dell'argomento, vale la pena menzionare la relativamente nuova capacità di indicizzazione di massa delle pagine tramite IndexNow (UN'API aperta con la possibilità di aggiungere fino a 10.000 pagine al giorno all'indice dei motori di ricerca). I motori di ricerca Yandex e Bing sono attualmente supportati. È possibile che L'adesione del motore di ricerca di Google a una determinata tecnologia sia proprio dietro l'angolo, anche se se la tecnologia ha già un piccolo esercito di critici, chissà se si svilupperà in futuro.
Altri articoli
