نحوه ایجاد و فواید فایل Robots.txt

آخرین بروز رسانی: دی ۱۲, ۱۳۹۴

دراین مطلب آموزشی توسط تیم وب یار کاربرد اصلی robots.txt و تاثیر آن بر سئوی ایندکس شدن مطالب را درک میکنیم,  اگر چه وجود robots.txt را بسیار ضروری است,البته عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید.

نحوه ایجاد و فواید فایل Robots.txt

نحوه ایجاد فایل robot.txt

نحوه ایجاد فایل robot.txt

کار اصلی robots.txt چیست؟؟؟ این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنین به موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.

چگونگی ساخت فایل robots.txt:

اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند.این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید.

البته بهتر بدانید هدف از این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد.

 

طریقه استفاده از فایل robots.txt:

در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.

در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.

این یک نمونه کد فایل robots.txt است:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

این نکته بسیار مهم است که بدونید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن مطالبتون آرشیو یا … استفاده کنید باید بگم که این کار اصلا  عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید,همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد.البته جهت ایندکش شدن مطالبتان نکات بسیار مهم دیگری که حتما در نوشتن مطالبتان باید رعایت کنید وجود دارد که آنها را از اینجا بخوانید.

ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …

قرار دادن نقشه سایت در robots.txt

اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.

به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

ظاهر استاندارد یک فایل robots.txt

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید.

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند.

امیدوارم با این آموزش توانسته باشیم نحوه ساخت فایل robots.txt را به شما یاد داده باشم,با آموزش هایی دیگر از تیم  وب یار با ما همراه باشید.

مطالب مرتبط

کلیه حقوق مادی و معنوی این اثر متعلق به طراحی سایت اصفهان وب یار می باشد CopyRight 2016