شرح اداة جلب مثل جوجل بعد التحديث الجديد

شرح اداه جلب مثل جوجل بعد التحديث الجديد

كيفيه دخول Googlebot الى موقعك

بالنسبه الى معظم المواقع، لن يدخل Googlebot الى موقعك اكثر من مره كل بضع ثوان في المتوسط. ومع ذلك، ونتيجه للتاخيرات بسبب الشبكه ، من المحتمل ظهور المعدل بشكل اعلى قليلا على مدى فترات قصيره . وبوجه عام، يعمل Googlebot على تنزيل نسخه واحده فقط من كل صفحه في كل مره . اذا لاحظت تنزيل Googlebot لصفحه مرات عده ، فربما يرجع ذلك الى توقف الزاحف واعاده تشغيله.

تم تصميم Googlebot ليتم توزيعه على اجهزه عديده لتحسين الاداء وتطويره مع نمو الويب. ولتقليل استخدام النطاق الترددي ايضا، نشغل العديد من برامج الزحف على الاجهزه بجوار المواقع التي تتم فهرستها في الشبكه . لذلك، ربما تعرض سجلاتك الزيارات من اجهزه مختلفه ضمن النطاق google.com، وجميعها باستخدام وكيل المستخدم Googlebot. حيث نهدف الى الزحف الى اكبر عدد ممكن من صفحات موقعك في كل زياره بدون ارهاق سعه النطاق الترددي لخادمك. طلب تغيير معدل الزحف

منع Googlebot من محتوى موقعك

يستحيل تقريبا الحفاظ على سريه خادم الويب من خلال عدم نشر روابط اليه. عقب تتبع شخص ما لرابط من خادمك “السري” الى خادم ويب اخر، قد يظهر عنوان URL “السري” في علامه الاحاله ويمكن تخزينه ونشره من خلال خادم الويب الاخر في سجل الاحاله . وبالمثل، يحتوي الويب على العديد من الروابط القديمه والمعطله . حينما ينشر شخص ما رابطا غير صحيح الى موقعك او يخفق في تحديث الروابط لاظهار التغييرات في خادمك، سيحاول Googlebot تنزيل رابط غير صحيح من موقعك.

اذا كنت تريد منع Googlebot من الزحف الى محتويات موقعك، فهناك عدد من الخيارات، بما في ذلك استخدام ملف robots.txt لمنع الدخول الى الملفات والادله على الخادم.

بعد انشاء ملف robots.txt، ربما يكون هناك تاخير قليل قبل اكتشاف Googlebot للتغييرات. اذا استمر Googlebot في الزحف الى المحتوى الذي منعته في ملف robots.txt، فتحقق من وجود ملف robots.txt في المكان الصحيح. يجب ان يكون في اعلى دليل بالخادم (على سبيل المثال، www.myhost.com/robots.txt)؛ حيث ان وضع الملف في الدليل الفرعي لا يكون له اي تاثير.

اذا كنت تريد منع رسائل الخطا “لم يتم العثور على الملف” في سجل خادم الويب، يمكنك انشاء ملف فارغ باسم robots.txt. اذا كنت تريد منع Googlebot من تتبع اي روابط في صفحه بموقعك، يمكنك استخدام علامه nofollow meta. لمنع Googlebot من تتبع رابط معين، اضف السمه rel=”nofollow” الى الرابط نفسه.

اليك بعض النصائح الاضافيه :

• اختبر عمل ملف robots.txt على النحو المتوقع. تتيح لك اداه اختبار ملف robots.txt في صفحه عناوين URL المحظوره (ضمن بيانات التشخيص) مما يتيح لك الاطلاع بالضبط على كيفيه ترجمه Googlebot لمحتويات ملف robots.txt. تاكد تماما ان وكيل مستخدم Google هو Googlebot.
• تساعدك اداه “جلب مثل Google” في ادوات مشرفي المواقع في معرفه كيفيه ظهور موقعك بالضبط ل Googlebot. يعد ذلك مفيدا للغايه عند تحري المشكلات المتعلقه بمحتوى موقعك او قابليه الاكتشاف في نتائج البحث واصلاحها.

التاكد من ان الموقع قابل للزحف

يكتشف Googlebot المواقع عن طريق تتبع الروابط من صفحه لاخرى. وتسرد صفحه اخطاء الزحف في ادوات مشرفي المواقع ايه مشكلات عثر عليها Googlebot عند الزحف الى موقعك. نوصي بمراجعه اخطاء الزحف هذه بانتظام لتحديد ايه مشكلات بموقعك.

اذا كنت تشغل تطبيق AJAX يتضمن محتوى تريد ظهوره في نتائج البحث، نوصي بمراجعه عرضنا بشان جعل المحتوى الذي يستند الى AJAX قابلا للزحف والفهرسه .

اذا كان ملف robots.txt يعمل بالشكل المتوقع، ولكن مع عدم وجود حركه زيارات بموقعك، فاليك بعض الاسباب المحتمله لعدم اداء المحتوى بشكل جيد خلال البحث.

مشكلات مع مرسلي الرسائل غير المرغوب فيها ووكلاء المستخدم

تتغير عناوين IP التي يستخدمها Googlebot بين الحين والاخر. وافضل طريقه لتحديد عمليات الدخول من خلال Googlebot هي استخدام وكيل المستخدم (Googlebot). يمكنك التحقق من ان برنامج التتبع الذي يدخل الى الخادم هو Googlebot حقا من خلال استخدام بحث عكسي عن نظام اسماء النطاقات.

يحترم Googlebot وجميع برامج تتبع محركات البحث حسنه السمعه الاوامر المضمنه في ملف robots.txt، ولكن بعض الاشخاص السيئين ومرسلي الرسائل غير المرغوب فيها لا يلتزمون بذلك. الابلاغ عن الرسائل غير المرغوب فيها الى Google.

تمتلك Google العديد من وكلاء المستخدم الاخرين، بما في ذلك Feedfetcher ‏(وكيل المستخدم‏ Feedfetcher-‏‏Google) نظرا لان طلبات Feedfetcher تكون نتيجه لاجراءات صريحه من مستخدمين بشريين اضافوا هذه الخلاصات الى صفحه Google الرئيسيه او الى Google Reader، وليس من برامج زحف تلقائيه ، فان Feedfetcher لا يتبع ارشادات robots.txt. يمكنك·منع·Feedfetcher·من·الزحف·الى·موقعك·من·خلال·تهيئه ·خادمك·لعرض·404·او·410·او·رساله ·حاله ·الخطا·الاخرى·الى·وكيل المستخدم‏ Feedfetcher-‏‏Google