شرح اداة جلب مثل جوجل بعد التحديث الجديد

شرح اداة جلب كجوجل بعد التحديث الجديد



طريقة دخول Googlebot الي موقعك

بالنسبة الي معظم المواقع، لن يدخل Googlebot الي موقعك اكثر من مرة جميع بضع ثوان فالمتوسط. و مع ذلك، و نتيجة للتاخيرات بسبب الشبكة ، من المحتمل ظهور المعدل بشكل اعلي قليلا علي مدي فترات قصيرة . و بوجة عام، يعمل Googlebot علي تنزيل نسخة و احدة فقط من جميع صفحة فكل مرة . اذا لاحظت تنزيل Googlebot لصفحة مرات عدة ، فربما يرجع هذا الي توقف الزاحف و اعادة تشغيله.

تم تصميم Googlebot ليتم توزيعة علي اجهزة عديدة لتحسين الاداء و تطويرة مع نمو الويب. و لتقليل استعمال النطاق الترددى ايضا، نشغل الكثير من برامج الزحف علي الاجهزة بجوار المواقع التي تتم فهرستها فالشبكة . لذلك، قد تعرض سجلاتك الزيارات من اجهزة مختلفة ضمن النطاق google.com، و جميعها باستعمال و كيل المستخدم Googlebot. حيث نهدف الي الزحف الي اكبر عدد يمكن من صفحات موقعك فكل زيارة بدون ارهاق سعة النطاق الترددى لخادمك. طلب تغيير معدل الزحف

منع Googlebot من محتوي موقعك

يستحيل تقريبا الحفاظ علي سرية خادم الويب من اثناء عدم نشر روابط اليه. عقب تتبع شخص ما لرابط من خادمك “السري” الي خادم و يب اخر، ربما يخرج عنوان URL “السري” فعلامة الاحالة و ممكن تخزينة و نشرة من اثناء خادم الويب الاخر فسجل الاحالة . و بالمثل، يحتوى الويب علي الكثير من الروابط القديمة و المعطلة . حينما ينشر شخص ما رابطا غير صحيح الي موقعك او يخفق فتحديث الروابط لاظهار التغييرات فخادمك، سيحاول Googlebot تنزيل رابط غير صحيح من موقعك.

اذا كنت تريد منع Googlebot من الزحف الي محتويات موقعك، فهنالك عدد من الخيارات، بما فذلك استعمال ملف robots.txt لمنع الدخول الي الملفات و الادلة علي الخادم.

بعد انشاء ملف robots.txt، قد يصبح هنالك تاخير قليل قبل اكتشاف Googlebot للتغييرات. اذا استمر Googlebot فالزحف الي المحتوي الذي منعتة فملف robots.txt، فتحقق من و جود ملف robots.txt فالمكان الصحيح. يجب ان يصبح فاعلي دليل بالخادم (علي سبيل المثال، www.myhost.com/robots.txt)؛ حيث ان و ضع الملف فالدليل الفرعى لا يصبح له اي تاثير.

اذا كنت تريد منع رسائل الخطا “لم يتم العثور علي الملف” فسجل خادم الويب، يمكنك انشاء ملف فارغ باسم robots.txt. اذا كنت تريد منع Googlebot من تتبع اي روابط فصفحة بموقعك، يمكنك استعمال علامة nofollow meta. لمنع Googlebot من تتبع رابط معين، اضف السمة rel=”nofollow” الي الرابط نفسه.

اليك بعض النصائح الاضافية :

  • اختبر عمل ملف robots.txt علي النحو المتوقع. تتيح لك اداة اختبار ملف robots.txt فصفحة عناوين URL المحظورة (ضمن بيانات التشخيص) مما يتيح لك الاطلاع بالضبط علي طريقة ترجمة Googlebot لمحتويات ملف robots.txt. تاكد تماما ان و كيل مستعمل Google هو Googlebot.
  • تساعدك اداة “جلب كGoogle” فادوات مشرفى المواقع فمعرفة طريقة ظهور موقعك بالضبط ل Googlebot. يعد هذا مفيدا للغاية عند تحرى المشكلات المتعلقة بمحتوي موقعك او قابلية الاكتشاف فنتائج البحث و اصلاحها.

التاكد من ان الموقع قابل للزحف

يكتشف Googlebot المواقع عن طريق تتبع الروابط من صفحة لاخرى. و تسرد صفحة اخطاء الزحف فادوات مشرفى المواقع اية مشكلات عثر عليها Googlebot عند الزحف الي موقعك. نوصى بمراجعة اخطاء الزحف هذة بانتظام لتحديد اية مشكلات بموقعك.

اذا كنت تشغل تطبيق AJAX يتضمن محتوي تريد ظهورة فنتائج البحث، نوصى بمراجعة عرضنا بشان جعل المحتوي الذي يستند الي AJAX قابلا للزحف و الفهرسة .

اذا كان ملف robots.txt يعمل بالشكل المتوقع، و لكن مع عدم و جود حركة زيارات بموقعك، فاليك بعض الاسباب المحتملة لعدم اداء المحتوي بشكل جيد اثناء البحث.

مشكلات مع مرسلى الرسائل غير المرغوب بها و وكلاء المستخدم

تتغير عناوين IP التي يستعملها Googlebot بين الحين و الاخر. و اروع كيفية لتحديد عمليات الدخول من اثناء Googlebot هى استعمال و كيل المستخدم (Googlebot). يمكنك التحقق من ان برنامج التتبع الذي يدخل الي الخادم هو Googlebot حقا من اثناء استعمال بحث عكسى عن نظام اسماء النطاقات.

يحترم Googlebot و كل برامج تتبع محركات البحث حسنة السمعة الاوامر المضمنة فملف robots.txt، و لكن بعض الاشخاص السيئين و مرسلى الرسائل غير المرغوب بها لا يلتزمون بذلك. الابلاغ عن الرسائل غير المرغوب بها الي Google.

تمتلك Google الكثير من و كلاء المستخدم الاخرين، بما فذلك Feedfetcher ‏(وكيل المستخدم‏ Feedfetcher-‏‏Google) نظرا لان طلبات Feedfetcher تكون نتيجة لاجراءات صريحة من مستعملين بشريين اضافوا هذة الخلاصات الي صفحة Google الرئيسية او الي Google Reader، و ليس من برامج زحف تلقائية ، فان Feedfetcher لا يتبع ارشادات robots.txt. يمكنك·منع·Feedfetcher·من·الزحف·الى·موقعك·من·خلال·تهيئة ·خادمك·لعرض·404·او·410·او·رسالة ·حالة ·الخطا·الاخرى·الى·وكيل المستخدم‏ Feedfetcher-‏‏Google

 

 


شرح اداة جلب مثل جوجل بعد التحديث الجديد