Uygulamalarındaki birçok SEO uzmanı, arama motorlarının sitenin belirli sayfalarını dizine eklememe konusundaki isteksizliğiyle karşı karşıya kalırken, bu sorunların nedenlerinin% 90'ı banaldir: sayfaların yanlışlıkla robotlarda kapatılması.txt, meta robotlar aracılığıyla indekslemeyi yasaklama, hatalı kural kitapları ve benzeri seçenekler.
Ancak, yalnızca yanlış indekslemenin nedenini bulmak ve ortadan kaldırmak için yeterli değildir. Bunu ortadan kaldırdıktan sonra, önemli içeriği mümkün olan en kısa sürede yeniden dizine eklemeniz ve sitenin ve ilgi alanlarının dizine eklendiğinden emin olmanız gerekir.
Bu makalede, Google arama motorunda bulunan tüm sayfa indeksleme seçeneklerini paylaşacağız.
Google'da indekslemeyi hızlandırmanın yolları
1. Google Search Console (GSC)
Sayfaları manuel modda dizine eklemenin / yeniden dizine eklemenin en yaygın yolu, Google'ın web yöneticisi panelinden geçer.
Sayfalar hızlı bir şekilde dizine eklenir (aramada görünene kadar birkaç saniyeden itibaren), ancak çalışma sayfa bazında gerçekleşir + sayfayı arama botuyla taramak için zamana ihtiyacınız vardır, bu nedenle bu yöntem etkili ancak en uygun değildir, çünkü URL grubundan bir listeyi hemen indirip toplu dizine ekleyemezsiniz.
2. Sitemap.xml
Site haritasının xml'sini kullanmak, yeni sayfaların indekslenmesini hızlandırmak için klasik bir yöntemdir. Bu, Site Haritası dosyasına bir köprü belirterek uygulanır.Robots dosyasındaki xml.txt (tabii ki, bundan önce Site Haritasının kendisini oluşturmanız gerekir.xml).. Sitemap.xml »
Bu genellikle herhangi bir site türü için yeterlidir.
Bir site haritası oluşturmak için popüler cms'lerde birçok farklı eklenti vardır ve örneğin ücretsiz SiteAnalyzer aracılığıyla web tabanlı veya masaüstü tarayıcılardan birini kullanarak da bir site haritası oluşturabilirsiniz.. SiteAnalyzer »
3. Site Haritasına ping yapmak.xml
Ping yapmak, arama robotunu Sitemap'ınıza hızlı bir şekilde geçiş yapmaya zorlar.xml. Bu, Google Search Console'a bir site haritası eklemenin bir tür benzetmesidir. Bu nedenle, Google'a site haritasının yeniden yüklenmesi gerektiğine dair ek bir sinyal gönderiyoruz, bu da sayfaların indeksleme olasılığını hızlandırıyor (ancak botun onları hemen atlamaya çalışacağı gerçeği değil).
Google ve Bing'de site haritasına ping yapmak için bağlantılar:
- Google: http://google.com/webmasters/tools/ping?sitemap=https://site-analyzer.pro/sitemap.xml
- Bing: https://www.bing.com/ping?sitemap=https://site-analyzer.pro/sitemap.xml
4. Trafik sitesi sayfalarından 301 yönlendirmeyi yükleme
Bu çözüm, statik ağırlığı ve trafiği kısmen kaliteli bir siteden arama botlarına daha fazla dikkat gerektiren bir siteye aktarmanıza veya dizine eklenmesinde sorun yaşamanıza olanak tanır.
İyi trafiğe sahip bir sitenin Haberler sayfasından, indeksleme sorunları olan bir sitenin benzer bir sayfasına yönlendirdim. Yönlendirme, Google tarafından ikinci günde «dikkate alındı» ve bağışçı sitenin sayfası google dizininden kayboldu.
Alıcı sitenin sayfası dizine eklendikten sonra, yönlendirmeyi temizleyebilirsiniz.
5. Siteyi Google Web Yöneticisi'nden kaldırma ve siteyi yeniden ekleme
Fikir, arama motorunun siteye «dikkat" etmesi ve böylece sayfaları tekrar gözden geçirmesiydi.
Deneme işe yaramadı çünkü projeyi yeniden eklerken robotlar hemen ona gösterildi.txt ve daha önce uygulanan diğer ayarlar - görünüşe göre site silindiğinde listeden kayboldu ve sonra tekrar eklendiğinde tekrar görüntülendi.
6. Sitenin endekslenmeden tamamen kapatılması
Siteyi robots'ta Google'dan kapatıyoruz.tam de-indeksleme için txt.
Test sırasında, sayfanın «ilk» sürümü WWW ile birlikte ve kaydedilmiş bir kopyası olmadan (genç site) endekste takılıyordu. Robotların güncellenmiş bir sürümünü tespit etmek için.Google txt 1-2 saat sürdü. 2 gün sonra, daha önce dizine eklenmiş olan tek sayfa dizinden kayboldu. Sitenin google aramasında 0 sayfa kaldı.
Tamamen endekslenmeden sonra robotlar açıldı.Google bot için txt.
Ancak, günlüklere bakılırsa, bot günde bir kez içeri girdi, böylece günde bir kez içeri girdi ve devam etti. Büyük ölçüde, Google botu tarafından siteye yapılan ziyaretlerin sıklığı değişmedi.
7. Google Adsense'e reklam ekleme
Genellikle, site Google Adsense'de denetlenmezse, sitenin neden kabul edilmediğinin olası nedenlerinin bir listesi kişisel hesabınızda görünür (doğrulama iki haftaya kadar sürer, bunu bir buçuk yılımı alır). Bu bilgiler, sitede neyin yanlış olduğunu belirlemede yardımcı olabilir.
Genel olarak olan şey, siteyi "yetersiz içerik" olarak işaretlememiş olmaktı.
Sitenin düşük endeksleme oranının bununla ilgili olduğunu sanmıyorum. Ancak, en azından, başka bir zaman kullanışlı olabilecek az ya da çok açıklayıcı bir cevap aldık (örneğin, siteye uygulanan yaptırımları belirlemek için).
8. Google Translate üzerinden geçiş
Bu yöntem, sayfaları Google hizmetleri aracılığıyla »çalıştırarak" arama botlarına daha fazla dikkat ettiğimizi varsayımına dayanmaktadır.
Sitenin URL'sini Google Çevirmen'e ekliyoruz, sayfanın çevirisini içeren bağlantıyı takip ediyoruz, parmaklarımızı geçiyoruz ve bir mucize bekliyoruz.
Benim durumumda mucize gerçekleşmedi.
9. Trafiği sosyal ağlardan ve Telgraflardan yönlendiriyoruz
Sitenin endekslenmesini hızlandırmak için, yayınları sosyal ağlarda (Twitter, Facebook, Linkedın, vb.) Paylaşabilir veya Telegram'a mesaj göndererek paylaşabilirsiniz (aslında bu, sosyal ağlardan trafik çekmekle aynı şeydir, ancak tematik kanallardaki reklam yayınlarından siteye bağlantılar yerleştirerek gerçekleşir).
Şu anda, sosyal ağlardaki bağlantılar arama motorları tarafından dizine eklenmiyor ve sıralamaya dahil edilmiyor, bu nedenle sitenin endekslenmesini hızlandırmanın bu seçeneği büyük olasılıkla etkili olmayacak, ancak bu durum siteye «canlı» trafik çekebilir, bu da arama botlarının daha sık girip daha fazla içeriği dizine ekleyeceği anlamına gelir.
10. Bağlam dışı trafik
Google Adwords'te reklam kampanyaları oluşturuyoruz ve arama botlarının site sayfalarını daha sık ziyaret etmesini sağlamak için trafiği daha hızlı dizine eklenmek üzere açılış sayfalarına yönlendiriyoruz, böylece bu kampanyaların dizine eklenme olasılığını artırıyoruz.
11. Google Search Console'da mobil cihazlar için optimizasyon kontrolü
Bota yeni sayfalar hakkında bilgi vermek için sitenin mobil sürüm test sayfasını kullanıyoruz: https://search.google.com/test/mobile-friendly/result?id=28OJNYqIhMMT4grjojk-uw
Yine, Google'a mobil sürüm test aracı aracılığıyla sitenin sayfalarını yeniden ziyaret etmek için ek bir sinyal göndermenin siteye daha fazla dikkat çekeceği hipotezi. Bununla birlikte, bunun en azından somut bir sonuç verdiğinden emin değilim.
12. Pinterest'ten trafik
Pinterest, Batı'da popüler bir içerik platformudur ve sadece ziyaretçilere değil, arama motoru botlarına da hitap etmektedir. Arama botları, özellikle de Google botları üzerinde sürekli olarak «yaşar", bu nedenle basit bir şekilde pin oluşturarak Google botunu sitenin ilgi alanlarına yönlendirebilirsiniz.
Benim durumumda bu sonuç vermedi.
13. Google Chrome tarayıcı sekmelerine dayalı toplu dizin oluşturucular aracılığıyla çalıştırma
Bildiğim kadarıyla, eğer bu konu bir zamanlar çalıştıysa (IndexGator servisi ve benzerleri), şimdi kesinlikle öldü.
Ve sunucunun günlüklerine göre - böyle bir indekslemeden sonra robot siteye girmedi.
14. Bir Site haritası oluşturun.txt
Site Haritası dosyası.txt, Site haritasının basitleştirilmiş bir site haritası seçeneğidir.xml. Esasen, bu yine de site URL'sinin aynı listesidir, ancak ek nitelikler (lastmod, öncelik, sıklık) belirtmeden.
https://mysite.com/
https://mysite.com/page-1/
https://mysite.com/page-2/
https://mysite.com/page-3/
https://mysite.com/page-4/
https://mysite.com/page-5/
Bu seçenek normal bir Site haritasından daha az yaygındır.xml, ancak yine de robotlara bir referans eklerken.txt, botlar normal bir Site haritasından daha az istekli bir şekilde taramaya başlarlar.
15. İç bağlantı
Sitenin yeni sayfalarına «hub» sayfalarından (yoğun trafik / ağırlıkça sayfalar) bağlantılar ekleyerek dizinlemeyi hızlandırın.
Bunun için genellikle önceden hazırlanmış bir listeden dizine eklenmemiş bağlantıların paketlerini alan ve bunları özel olarak ziyaret edilen sayfalara yerleştiren bir komut dosyası yazılır. Sayfaları dizine ekledikten sonra bir sonraki bağlantı bloğu yerleştirilir, vb. İndeksleme, çeşitli hizmetler aracılığıyla veya Google Web Yöneticisi Araçları API'sı aracılığıyla doğrulanır.
16. Dış referans kütlesinin oluşturulması
Google, saygın sitelerden gelen bağlantılarla sayfaların güvenilir olduğunu kabul eder.
Geri bağlantıların varlığı Google'a sayfaların önemli olduğunu ve dizine eklenmesi gerektiğini söyler.
Bu nedenle, tanıtılan sayfalara ve genel olarak siteye yüksek kaliteli bir dış bağlantı kitlesi oluşturarak Google'a bu sitenin daha fazla dikkat edilmesi ve içeriğin daha sık çalınması gerektiğini bildirebilirsiniz.
17. Flickr ile yaratıcı yöntem (Viktor Karpenko kılıfı)
Flickr fotoğraf paylaşımı'nda bir hesap oluşturuyoruz, oraya birçok fotoğraf yüklüyoruz (binlerce, tercihen on binlerce) - nereden olursa olsun fotoğraf çekiyoruz, hatta diğer fotoğraf paylaşımlarını, İnstagramları bile kullanabilirsiniz.
Her fotoğrafın altında, fotoğrafı kullanırken tanıtılan siteye bir geri bağlantı koymanız gerektiğini yazıyoruz (url'sinden bahsetmeyi unutmayın).
Sonuç olarak, iyi sitelerden ve medyadan aylık olarak ücretsiz trafik ve düzinelerce bağlantı almak mümkündür.
Not. Bu örnek linkbilding ile daha çok ilgilidir, ancak aynı zamanda trafiğinizi sitenizin belirli sayfalarına yönlendirmenize ve böylece bunların endekslenmesini iyileştirmenize de olanak tanır.
18. Google İndeksleme API'sini kullanarak dizin oluşturma
Mahmud kullanıcısından PHP için talimatların sıkıştırılması:
- Google Cloud'a bir servis hesabı kaydediyoruz, erişim anahtarını (json dosyası) alıyoruz, servis hesabının cerchconsol'a haklarını veriyoruz, API'yi Google Cloud'a dahil ediyoruz.
- URL'nin dizine ekleneceği php'de bir komut dosyası oluşturuyoruz.
- Apı ile çalışmak için Github istemcisinden indiriyoruz: https://github.com/googleapis/google-api-php-client
- Toplu Ekleme Kodu Talepleri:
require_once '/_google-api-php-client/vendor/autoload.php'; $client = new \Google_Client(); $client->setAuthConfig('/_google-api-php-client-php70/blablabla-777c77777777.json'); // path to json file received when creating a service account $client->addScope('https://www.googleapis.com/auth/indexing'); $client->setUseBatch(true); $service = new \Google_Service_Indexing($client); $batch = $service->createBatch(); foreach ($links as $link) // URLs list { $postBody = new \Google_Service_Indexing_UrlNotification(); $postBody->setUrl($link); $postBody->setType('URL_UPDATED'); $batch->add($service->urlNotifications->publish($postBody)); } $results = $batch->execute(); print_r($results);
- Buna karşılık, $batch->execute(), istekte bulunan bağlantı sayısına göre bir dizi gönderir (yanıtta \Google\Service\Exception varsa, kod 429 sınırı aşarsa, 403 erişim anahtarı veya apı dahil etme sorunları, 400 veri eğrileri varsa).
- Hataların açıklamasına bağlantı: https://developers.google.com/search/apis/indexing-api/v3/core-errors?hl=ru#api-errors
- API hesabını google + konsoluna kendinizin sahibi (Owner) olarak göstermeyi unutmayın, aksi takdirde komut dosyası çalışmaz (dizide 404 hatası gelir, sitenin dizine eklenmesine izin verilmeyecek - İzin reddedildi). Failed to verify the URL ownership).
Not: Küçük «tıkamalar» için zaman ve googling hataları da dahil olmak üzere bir komut dosyası yazmak ~ 40 dakikamı aldı.
19. Google botuna erişimi engelleme (Vladimir Vershinin davası)
Projelerden birinde belgelerin Google endeksine kötü bir şekilde eklendiğini fark ettim. Bükülüyorlardı, tükürüyorlardı - hepsi boşuna.
Dolaylı olarak, botların DDoS koruma hizmeti düzeyinde kesildikleri için kaynaklardan hiçbir şey alamadıkları hipotezi ortaya çıkmıştır.
26 numaralı DDoS koruma hizmetinin beyaz listeye / ipranges / listesini ekledik ve 27'nci sırada endekste + 50k belge aldık ve şu anda 15 gün içinde endekste + 300k belge var.
"Uçan" belgelerin çoğu GSC'DE «Tarandı, ancak henüz dizine eklenmemiş» olarak yatıyordu.
Google botlarının IP adres aralığına bağlantı: https://developers.google.com/search/apis/ipranges/googlebot.json
20. John Mueller'a yaz
John Mueller'a Tweet atın, sorununuzu tanımlayın, parmaklarınızı çaprazlayın ve bir cevap bekleyin. Twitter »
Benim durumumda bu işe yaramadı, kimse bana cevap vermedi, dizinde yeni sayfalar görünmedi. Garip, elbette, tamam, tamam.
Ama kim bilir, belki şanslısınız demektir )
***
Hem yeni hem de eski sayfaların indekslenmesini hızlandırmak için bilinen daha fazla seçenek kalmamış gibi görünüyor. Ancak, aniden bir şeyi kaçırırsam, kendi durumlarımı ve örneklerimi yorumlarda paylaşmanızı rica ediyorum - makaleyi memnuniyetle onlarla birlikte ekleyeceğim.
P.S. IndexNow. Konuyu tam olarak ele almak için, IndexNow aracılığıyla sayfaları toplu olarak dizine eklemenin nispeten yeni olasılığından bahsetmeye değer (arama motoru dizinine günde 10.000 sayfaya kadar ekleme özelliğine sahip açık bir API). Şu anda Yandex ve Bing arama motorları desteklenmektedir. Google'ın arama motorunun bu teknolojiye katılmasının hemen köşede olması mümkündür, ancak teknolojinin şu anda küçük bir eleştirmen ordusuna sahip olmasına rağmen, gelecekte gelişip gelişmeyeceğini kim bilebilir.
Diğer makaleler