robots.txt ملفات الروبوتس من مدونة المتخصص 2015

السلام عليكم اخواني اخواتي في هذا الدرس من موقع روابط الادفلاي adfly

اليوم سنتطرق لشرح كيفية عمل ملف الروبوتس لارشفة المواضيع الخاصة بنا بكل سرعة و بشكل سليم

ملف الرزبزتيس يسمح لمواضيعك بالارشفة على محركات البحث و تسمح بظهور تدويناتك على محركات البحث بسرعة و دقة

اليك ملف الروبوتس التالي:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /

Sitemap: http://ecomedfot.blogspot.com//feeds/posts/default?orderby=updated
------------------
يمكنك تحميل ملف الروبوتس من هنا

و سنقدم شرح مفصل شرح لملف robots.txt بالكامل،:

يمكننا ان نتعرف على كود الروبوت تكست robots.txt بطريقة سهلة جدا
افتح صفحة انترنت فارغة:
ثم قم بكتابة عنوان موقعك الالكتروني متبوع بالعلامة / ثم كلمة robots.txt كما يلي:
كمثال لموقع
/http://adfly-rawabit1000.blogspot.com/

حيث يصبح كما يلي:
http://adfly-rawabit1000.blogspot.com/robot.txt 

عندها سيظهر كما يلي:
--------------------------------------

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://ecomedfot.blogspot.com//feeds/posts/default?orderby=updated

---------------------------------------------

سنضرح هذا الكود كما يلي
1- محددات العناكب: User-agent

تحدد لنا نوع محركات البحث ، فلما نضع امامهل علامة نجمة (*) فهذا يعني اننا نسمج بظهور الموقع في جميع محركات البحث.

User-agent: *  

اما اذا وضعنا امامها كلمة Mediapartners-Google فهذا يعني اننا نريد ظهور الموقع على محرك بحث غوغل google .

2- منع العناكب من الدخول و الزحف على موقعك:

بتطبيق الخاصية التالية

Disallow: 

كما يمكننا ان نمنع العناكب من الدخول الى ملفات معينة و 
محددة مسبقا عن طريق هذه الخاصية  (Disallow:)
و هذا كما يلي:

لمنع ظهور الصفحة الرئيسية :

Disallow: /vb/index.html


لمنع العناكب من الزحف على صفحة التسجيلات:

Disallow: /vb/login.php
لمنع ظهور صفحة الموسيقى على محركات البحث:

Disallow: /vb/misc.php



لمنع ظهور صفحة تسجيل الدخول من الظهور على العناكي:

Disallow: /vb/register.php


لمنع ظهور صفحة الصور على العناكب (محركات البحث):

Disallow: /vb/image.php
لمنع ظهور صورة عبى محركات البحث:

Disallow: /vb/images

حمل ملف الربوتس من هنا robots.txt


3- السماح للعناكب بالدخول و الزحف على موقعك:

من خلال استعمال الأداة Allow: التي تسمح بدخول العناكب و الزحف على صفحاتك التي تقوم باختيارها انت بنفسك 
مسبقا ، او على ملفاتك او صورك الموجودة على الموثع،

مثال: سنسمح للعناكب بأرشفة صورنا و الصفحة الرئيسية و الفيديوهات من خلال الكزد التالي:

Allow: /Allow: /image
Allow: /index.html
Allow: /video

4- اضافة خرائط الموقع الى محركات البحث:

من خلال الخاصية  Sitemap:  التي تتيح لمحركات البحث بالزحف على خرائط الموقع 

انطلاقا من عنوان الموقع الاصلي او الرئيسي.

و في المثال السابق هو كما يلي:


Sitemap: http://ecomedfot.blogspot.com//feeds/posts/default?orderby=updated


لاحظ وجود رابط الموقع الرئيسي لمدونة المتخصص   http://ecomedfot.blogspot.com

ملاحظة مهمة : يمكننا ان نظيف عدة روابط لخرائط مدوناتنا المتعددة في نفس الروبوتس .

الملفات المرفقة:
                   
                    حمل المرفقات الخاصة بملف الربوتكس robots.txt

شاركها مع أصدقائك!

تابعني→

Tweet

أبدي اعجابك →

شارك! →