20 варыянтаў паскарэння індэксацыі сайта ў Google

Многія SEO-спецыялісты ў сваёй практыцы сутыкаліся з нежаданнем пошукавых сістэм індэксаваць тыя ці іншыя старонкі сайта, пры гэтым у 90% выпадкаў прычыны гэтых праблем бываюць банальныя: выпадковае закрыццё старонак у robots.TXT, забарона індэксацыі праз meta robots, некарэктныя канониклы і таму падобныя варыянты.

Аднак, мала толькі толькі знайсці і ліквідаваць прычыну некарэктнай індэксацыі. Пасля яе ліквідацыі неабходна як мага хутчэй адправіць на переиндексацию важны кантэнт і пераканацца ў тым, што сайт і цікавяць старонкі сталі індэксавацца.

У гэтым артыкуле мы падзелімся усімі знойдзенымі варыянтамі індэксацыі старонак у пошукавай сістэме Google.

Спосабы паскарэння індэксацыі ў Google

1. Google Search Console (GSC)

Самы распаўсюджаны спосаб індэксацыі / переиндексации старонак у» ручным " рэжыме праз панэль вэбмайстра Google.

Старонкі індэксуюцца хутка (ад некалькіх секунд да з'яўлення ў пошуку), аднак, праца адбываецца ў пастаронкавым рэжыме + неабходны час на сканаванне старонкі пошукавым ботам, таму дадзены спосаб з'яўляецца эфектыўным, але не самым зручным, бо нельга загрузіць адразу спіс з групы URL і адправіць на масавую індэксацыю.

2. Sitemap.xml

Выкарыстанне XML карты сайта з'яўляецца класічным метадам паскарэння індэксацыі новых старонак. Рэалізуецца гэта праз указанне гіперспасылкі на файл карты сайта Sitemap.xml файле Robots.txt (само сабой, перад гэтым неабходна стварыць сам файл Sitemap.xml).. Sitemap.xml »

Звычайна гэтага бывае цалкам дастаткова для любога тыпу сайта.

Для стварэння карты сайта існуе мноства розных убудоў на папулярных CMS, таксама яе можна стварыць пры дапамозе аднаго з вэб - або дэсктопных краулеров, напрыклад, праз бясплатны SiteAnalyzer.. SiteAnalyzer »

3. Пінгаванне Sitemap.xml

Пингование прымушае пошукавага робата зрабіць аператыўны пераабход вашага Sitemap.xml. Гэта своеасаблівы аналаг дадання сайтмап ў Google Search Console. Такім чынам, мы адпраўляем Google дадатковы сігнал аб неабходнасці пераабходу карты сайта, што, тым самым, паскарае верагоднасць індэксацыі старонак (аднак, не факт, што бот іх адразу ірванецца абыходзіць).

Спасылкі для пингования сайтмап ў Google і Bing:

• Google: http://google.com/webmasters/tools/ping?sitemap=https://site-analyzer.pro/sitemap.xml
• Bing: https://www.bing.com/ping?sitemap=https://site-analyzer.pro/sitemap.xml

4. Ўстаноўка 301 рэдырэкту са старонак трафікавага сайта

Дадзенае рашэнне дазваляе часткова перанесці статычны вага і трафік з якаснага сайта на сайт, для якога патрабуецца большую ўвагу пошукавых ботаў, альбо ёсць праблемы з яго індэксацыяй.

Я ставіў рэдырэкт са старонкі "Навіны" сайта з добрым трафікам на аналагічную старонку сайта, у якога былі праблемы з індэксацыяй. Рэдырэкт быў» улічаны " Google ужо на другі дзень і старонка сайта-донара знікла з індэкса гугла.

Пасля таго як старонка сайта-акцептора будзе праіндэксаваная, рэдырэкт можна прыбіраць.

5. Выдаленне сайта з вэбмайстра Google і даданне сайта нанова

Ідэя была ў тым, каб пошукавік звярнуў "увагу" на сайт і, тым самым, зноў прайшоўся па старонках.

Эксперымент не спрацаваў, бо пры паўторным даданні праекта ў ім адразу адлюстроўваўся robots.txt і іншыя раней ужытыя Налады - мабыць пры выдаленні сайт проста схаваўся з спісу, а потым пры паўторным «даданні» яго адлюстравалі зноў.

6. Поўнае закрыццё сайта ад індэксацыі

Закрываем сайт ад Google у robots.txt для поўнай дэіндэксацыі.

На момант тэставання ў індэксе боўталася» першая " версія старонкі з WWW і без захаванай копіі (малады сайт). На выяўленне абноўленай версіі robots.txt Google спатрэбілася 1-2 гадзіны. Праз 2 дні раней адзіная праіндэксаваных старонка знікла з індэкса. У сайта засталося 0 старонак у пошуку гугла.

Пасля поўнай дэіндэксацыі быў адкрыты robots.txt для бота Google.

Аднак, мяркуючы па логах, бот як заходзіў адзін раз у дзень, так адзін раз у дзень заходзіць і працягнуў. Па вялікім рахунку частата наведванняў сайта ботам Google не памянялася.

7. Даданне рэкламы ў Google AdSense

Звычайна, калі сайт не праходзіць мадэрацыю ў Google AdSense, то ў асабістым кабінеце з'яўляецца спіс магчымых прычын, чаму не прынялі сайт (праверка займае да двух тыдняў, у мяне гэта заняло паўтары). Дадзеная інфармацыя можа дапамагчы з вызначэннем прычын, што не так з сайтам.

Што ўвогуле-то і адбылося - сайт не прынялі з паметкай «малакарыснай кантэнт».

Не думаю, што нізкі ўзровень індэксацыі сайта быў звязаны менавіта з гэтым. Але, прынамсі, мы атрымалі больш-менш тлумачальны адказ, які можа спатрэбіцца ў іншы раз (напрыклад, для вызначэння санкцый, накладзеных на сайт).

8. Переобход праз Google Translate

Дадзены метад заснаваны на здагадцы аб тым, што «праганяючы» старонкі праз сэрвісы Google, мы звяртаем на іх дадатковую ўвагу пошукавых ботаў.

Вставляем URL сайта ў Google Перакладчык, пераходзім па спасылцы з перакладам старонкі, крыжаваць пальцы і спадзяемся на цуд.

У маім выпадку цуду не адбылося.

9. Накіроўваем трафік з сацсетак і тэлеграм

Для паскарэння індэксацыі сайта можна дзяліцца публікацыямі ў сацыяльных сетках (Twitter, Facebook, Linkedin і да т.п.), альбо шляхам размяшчэння пастоў у Telegram (па сутнасці, гэта тое ж самае, што і прыцягненне трафіку з сацсетак, аднак адбываецца шляхам размяшчэння спасылак на сайт з рэкламных пастоў на тэматычных каналах).

На бягучы момант спасылкі з соцсетей не індэксуюцца пошукавымі сістэмамі і не ўлічваюцца ў ранжыраванні, таму дадзены варыянт паскарэння індэксацыі сайта хутчэй за ўсё будзе не эфектыўны, аднак, гэта можа прыцягнуць на сайт «жывы» трафік, за кошт якога пошукавыя боты стануць заходзіць на яго часцей і індэксаваць больш кантэнту.

10. Трафік з кантэксту

Ствараем рэкламныя кампаніі ў Google AdWords і накіроўваем трафік на пасадкавыя старонкі для больш хуткай іх індэксацыі, каб пошукавыя боты часцей наведвалі старонкі сайта, павялічваючы, тым самым, верагоднасць іх індэксацыі.

11. Праверка аптымізацыі для мабільных у Google Search Console

Выкарыстоўваем старонку тэставання мабільнай версіі сайта для ўказанні боту аб новых старонках: https://search.google.com/test/mobile-friendly/result?id=28OJNYqIhMMT4grjojk-uw

Зноў жа, гіпотэза аб тым, што пасылаючы Google дадатковы сігнал для пераабходу старонак сайта праз інструмент тэставання мабільнай версіі, ён зверне на сайт больш пільную ўвагу. Аднак не ўпэўнены, што гэта дае хоць нейкі адчувальны вынік.

12. Трафік з Pinterest

Pinterest з'яўляецца папулярнай кантэнтнай пляцоўкай на Захадзе, што робіць яго прывабным не толькі для наведвальнікаў, але і для ботаў пошукавых сістэм. На ім пастаянна "насяляюць" пошукавыя боты, асабліва бот Google, таму шляхам нескладанага стварэння пинов, можна накіраваць бота Google на якія цікавяць старонкі сайта.

У маім выпадку гэта не дало вынікаў.

13. Прагон праз масавыя индексаторы, заснаваныя на ўкладках браўзэра Google Chrome

На колькі я ведаю, калі гэтая тэма калісьці і працавала (сэрвіс IndexGator і яго аналагі), то цяпер яна абсалютна мёртвая.

Ды і па логам сервера - пасля падобнай індэксацыі робат на сайт не заходзіў.

14. Стварэнне Sitemap.txt

Файл Sitemap.txt з'яўляецца спрошчаным варыянтам карты сайта Sitemap.xml. Па сутнасці, гэта ўсё той жа спіс URL сайта, але без ўказанні дадатковых атрыбутаў (lastmod, priority, frequency).

https://mysite.com/
https://mysite.com/page-1/
https://mysite.com/page-2/
https://mysite.com/page-3/
https://mysite.com/page-4/
https://mysite.com/page-5/

Дадзены варыянт менш распаўсюджаны, чым звычайны Sitemap.xml, але пры даданні спасылкі на яго ў robots.TXT, боты пачынаюць яго сканаваць не менш ахвотна, чым звычайны Sitemap.

15. Унутраная перелинковка

Паскарэнне індэксацыі за кошт прастаўлення спасылак на новыя старонкі сайта з» хабовых " старонак (старонкі з вялікім трафікам / вагой).

Звычайна для гэтага пішацца скрыпт, які бярэ пачкі непроиндексированных спасылак з загадзя падрыхтаванага спісу і размяшчае іх на асабліва наведвальных старонках. Пасля індэксацыі старонак размяшчаецца наступны блок спасылак, і гэтак далей. Індэксацыя правяраецца праз розныя сэрвісы альбо праз API Google Webmaster Tools.

16. Нарошчванне знешняй спасылачныя масы

Google прызнае, што старонкі заслугоўваюць даверу, калі на іх вядуць спасылкі з аўтарытэтных сайтаў.

Наяўнасць зваротных спасылак кажа Google аб тым, што старонкі з'яўляюцца важнымі і іх варта праіндэксаваць.

Такім чынам, нарошчваючы якасную знешнюю спасылачныя масу на прасоўваныя старонкі і на сайт у цэлым можна сігналізаваць Google аб тым, што дадзеным сайту неабходна больш надаваць увагі і часцей краулить кантэнт.

17. Крэатыўны метад пры дапамозе Flickr (кейс Viktor Karpenko)

Ствараем рахунак на фотахостынгу Flickr, загружаем туды шмат фатаграфій (тысячы, а лепш дзясяткі тысяч) - фота бярэм не важна адкуль, можна нават выкарыстоўваць іншыя фотахостынгі, Instagram і да т. п.

Пад кожным фота пішам, што пры выкарыстанні фота трэба ставіць зваротную спасылку на прасоўваны вамі сайт (не забываемся згадаць яго URL).

У выніку можна бясплатна атрымліваць трафік і дзесяткі спасылак штомесяц з добрых сайтаў і СМІ.

Заўвага. Прыклад больш ставіцца да линкбилдингу, але таксама і дазваляе накіраваць трафік на пэўныя старонкі Вашага сайта і тым самым палепшыць іх індэксацыю.

18. Індэксацыя пры дапамозе Google Indexing API

Выцісканне інструкцыі для PHP ад карыстальніка Махмуд:

• Рэгіструем сэрвісны рахунак на Google Cloud, атрымліваем ключ доступу (файл json), даем правы сэрвіснага акаўнта на серчконсоль, ўключаем API ў Google Cloud.
• Ствараем скрыпт на PHP, з якога будуць дадавацца URL у індэкс.
• Качаем з Github кліент для працы з API: https://github.com/googleapis/google-api-php-client
• Код для пакетнага дадання запытаў:

require_once '/_google-api-php-client/vendor/autoload.php';

$client = new \Google_Client();

$client->setAuthConfig('/_google-api-php-client-php70/blablabla-777c77777777.json'); // path to json file received when creating a service account

$client->addScope('https://www.googleapis.com/auth/indexing');

$client->setUseBatch(true);

$service = new \Google_Service_Indexing($client);

$batch = $service->createBatch();

foreach ($links as $link) // URLs list
{
  $postBody = new \Google_Service_Indexing_UrlNotification();
  $postBody->setUrl($link);
  $postBody->setType('URL_UPDATED');
  $batch->add($service->urlNotifications->publish($postBody));
}

$results = $batch->execute();

print_r($results);

• У адказ $batch->execute() дасылае масіў па колькасці спасылак ў запыце (калі ў адказе ёсць \Google\Service\Exception, то код 429 - перавышэнне ліміту, 403 - праблемы з ключом доступу або уключэннем api, 400 - крывыя дадзеныя).
• Спасылка на Апісанне памылак: https://developers.google.com/search/apis/indexing-api/v3/core-errors?hl=ru#api-errors
• Не забываем звязаць рахунак API з кансоллю гугла + выставіць сябе ўладальнікам (Owner), інакш скрыпт не будзе працаваць (у масіве будзе прыходзіць памылка 404, што няма доступу для індэксацыі сайта - Permission denied. Failed to verify the URL ownership).

Заўвага: на напісанне скрыпту ў мяне сышло ~40 хвілін, уключаючы час на дробныя «затыкі» і гугление памылак.

19. Блакаванне доступу боту Google (кейс Vladimir Vershinin)

Спасылка на дыяпазон IP-адрасоў ботаў Google: https://developers.google.com/search/apis/ipranges/googlebot.json

20. Напісаць Джону Мюлеру

Напісаць у Твітэр Джону Мюлеру, апісаць сваю праблему, скрыжаваць пальцы і чакаць адказу. Twitter »

У маім выпадку гэта не спрацавала, мне ніхто не адказаў, новых старонак у індэксе не з'явілася. Дзіўна, вядома, ну і добра.

Але, хто ведае, магчыма вам пашанцуе )

***

Падобна, больш не засталося вядомых варыянтаў паскарэння індэксацыі як новых, так і старых старонак. Аднак, калі раптам я нешта выпусціў, прашу падзяліцца ўласнымі кейсамі і прыкладамі ў каментарах - з задавальненнем дапоўню імі артыкул.

P.S. IndexNow. Для поўнага ахопу тэмы варта згадаць адносна новую магчымасць масавай індэксацыі старонак праз IndexNow (адкрытае API з магчымасцю дадання ў індэкс пошукавых сістэм да 10 000 старонак у дзень). У цяперашні час падтрымліваюцца пошукавыя сістэмы Яндэкс і Bing. Магчыма, што далучэнне пошукавай сістэмы Google да дадзенай тэхналогіі не за гарамі, хоць, калі ўжо цяпер у тэхналогіі паўстала невялікая армія крытыкаў, хто ведае, ці атрымае яна развіццё ў будучыні.

Iншыя артыкулы

• Агляд новай версіі SiteAnalyzer 2.8
• SiteAnalyzer: прынцыпы разліку ўнутранага PageRank
• BatchUniqueChecker