logo

انتخاب محل سایدبار

این سایدبار را با ابزارک های کاربردی پر کنی تا براحتی در دسترستان باشند
Email@YourSite.Com
+989121234567
تهران

تهران

09120586135

09355800124

milad.mohamadian@gmail.com

info@memberi.ir

فایل Robots.txt چیست؟ آموزش ساخت robots.txt

ممبری آژانس خدمات طراحی وب سایت و مارکتینگ > آکادمی  > فایل Robots.txt چیست؟ آموزش ساخت robots.txt
فایل Robots.txt چیست؟ آموزش ساخت robots.txt

فایل Robots.txt چیست؟ آموزش ساخت robots.txt

وب سایت‌ها از فایل robots.txt استفاده می‌کنند تا دستورالعمل‌هایی را در مورد سایت خود به ربات‌های وب ارایه دهند؛ این پروتکل، پروتکل حذف ربات‌ها نامیده می‌شود. استاندارد حذف ربات‌ها که به عنوان پروتکل حذف ربات‌ها شناخته می‌شوند، استانداردی است که توسط وب سایت‌ها برای ارتباط با وب سایت‌های مختلف وب و دیگر ربات‌های وب مورد استفاده قرار می‌گیرد. این استاندارد نحوه اطلاع‌رسانی به روبات وب را مشخص می‌کند که در آن نواحی وب سایت نباید پردازش و یا اسکن شوند. ربات‌ها اغلب توسط موتورهای جستجو برای دسته‌بندی وب سایت‌ها به کار می‌روند.

فایل Robots.txt چیست؟

 

ربات های موتور های جستجو مانند گوگل هنگام خزیدن در سایت و پیداکردن فایل robots.txt شروع به خواندن فایل متنی که دستورات در آن لیست شده است می کنند تا بعد از بررسی دسترسی یا عدم دسترسی به فایل ها دایرکتوری هایی که در لیست مشخص شده اند اقدام به بازدید و ایندکس صفحات در موتور های جستوجو کنند.

در واقع می توان گفت که وظیفه فایل robots.txt محدود کردن دسترسی و عدم دسترسی ربات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. چه قسمتی از سایت شما در موتور های جستوجو ایندکس شود و چه قسمتی ایندکس نشود. باید بدانید که ربات‌هایی هم هستند که می‌توانند robots.txt شما را نادیده بگیرند. به ویژه ربات‌های malware یا اسپم که توجهی نمی‌کنند. فایل robots.txt یک فایل در دسترس عموم است. هر کسی می‌تواند بخش هایی از سرور شما را ببیند که شما نمی‌خواهید ربات ها از انها استفاده کنند.

آموزش ساخت فایل robots.txt

 

READ  اتصال دسته پلی‌استیشن ۴ PS4 به گوشی اندروید

یک فایل ساده برای مدیریت روبات های اینترنتی از دو قانون اصلی استفاده میکند که عبارتند از:
User-agent: نشان دهنده نوع روباتی است که نباید به صفحه دسترسی داشته باشد.
Disallow: بیانگر آدرس صفحه ای است که میخواهید از دید روبات ها پنهان بماند.

با ترکیب این دو دستور شما میتوانید قوانین مختلفی را برای دسترسی به صفحات داخلی سایت تعریف کنید. بعنوان مثال برای یک user-agent مشخص میتوان چندین آدرس را معرفی نمود و یا برعکس.

لیست تمامی روبات های اینترنتی معتبر در دیتابیس Web Robots Database موجود است و شما میتوانید با قرار دادن نام هریک بعنوان User-agent قوانین مشخصی برای آنها تعریف کنید و یا با استفاده از کاراکتر * به جای نام در فایل robots.txt یک قانون را برای همه روبات ها اعمال کنید. مانند:

User-agent: *

Disallow: /folder1/

موتور جستجوی گوگل چندیدن نوع روبات مخصوص بخود دارد که معروفترین آنها با نام Googlebot شناخته میشود و وظیفه بررسی و ایندکس صفحات وب را برعهده دارد. روبات Gogglebot-image نیز مسئول بررسی تصاویر سایت ها و ایندکس کردن آنها می باشد.

User-Agent: Googlebot

Disallow: /folder2/

شما میتوانید به روش های مختلفی قوانین خود را اعمال کنید، میتوان یک صفحه مشخص و یا یک دسته از صفحات را برای یک قانون تعریف نمود. مثال های زیر روش های مختلف استفاده از این قوانین هستند:
برای عدم دسترسی روبات ها به تمام محتویات سایت از کاراکتر / استفاده میکنیم

Disallow: /

برای عدم دسترسی به یک فولدر یا دسته از سایت نام آن را وارد کنید

Disallow: /blog/

برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید

READ  اتصال دسته پلی‌استیشن ۴ PS4 به گوشی اندروید

Disallow: /blog/keyword-planner/

برای محدود کردن یک تصویر بر روی سایت آدرس آن را بهمراه User-agent مربوط به آن وارد کنید

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

و برای مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید

User-agent: Googlebot-Image
Disallow: /

همچنین شما میتوانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه دارید، بعنوان مثال برای تصاویری با فرمت gif

User-agent: Googlebot
Disallow: /*.gif$

توجه داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف انگلیسی حساس بوده و آدرس صفحات باید به دقت وارد شوند. پس از ساخت فایل مورد نظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید. قوانین اعمال شده برای روبات هایی هستند که از این پس به سایت شما وارد میشوند حذف صفحاتی که در گذشته ایندکس شده اند از دیتابیس گوگل نیازمند گذشت زمان خواهد بود.

برای ایجاد و تست این فایل میتوانید از google webmasters tools استفاده کنید. گوگل وب مستر تولز ابزاری با عنوان robots.txt testing tool ارائه داده است که به شما کمک میکند فایل robots.txt را به آسانی ایجاد و تست کنید.

این ابزار در بخش crawl گوگل وب مستر تولز قابل مشاهده میباشد. در این قسمت شما میتوانید فایلی که با عنوان robots.txt وجود دارد را بررسی کنید، اطلاعات این فایل را تغییر داده و یا توسط این ابزار آنها را چک کنید. توجه کنید که پس از اعمال تغییرات لازم است فایل تغییر یافته را در سرور خود آپلود نمایید تا تاثیرات آن در سایت شما ظاهر شود. برای این کار کافی است فایل robots.txt را در روت هاست خود آپلود نمایید.

READ  اتصال دسته پلی‌استیشن ۴ PS4 به گوشی اندروید
memberii
بدون دیدگاه

ارسال دیدگاه

دیدگاه
نام
ایمیل
وبسایت

آیا به کمک نیاز دارید؟ با ما در واتس اپ گفتگو کنید.
گفتگو را شروع کنید.
سلام. شما می توانید از طریق نرم افزار واتس اپ Whats app با ما در ارتباط باشید.
به زودی پاسخ شما را خواهیم داد.