0

هیچ محصولی در سبد خرید نیست.

طراحی سایت در اصفهان, سئو سایت اصفهان, ساخت سایت اصفهان, طراحی سایت حرفه ای اصفهان, بهینه سازی سایت , بازاریابی و دیجیتال مارکتینگ 09133886881 احمدپور

نحوه ایجاد و فواید فایل Robots.txt

نویسنده پشتیبانی وب یار
امتیاز مطلب
تعداد بازدید 322
تاریخ بروزرسانی ۲۳ فروردین ۱۳۹۷

دراین مطلب آموزشی توسط تیم وب یار کاربرد اصلی robots.txt و تاثیر آن بر سئوی ایندکس شدن مطالب را درک میکنیم,  اگر چه وجود robots.txt را بسیار ضروری است,البته عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید.

نحوه ایجاد و فواید فایل Robots.txt

نحوه ایجاد فایل robot.txt

نحوه ایجاد فایل robot.txt

کار اصلی robots.txt چیست؟؟؟ این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنین به موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.

چگونگی ساخت فایل robots.txt:

اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند.این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید.

البته بهتر بدانید هدف از این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد.

 

طریقه استفاده از فایل robots.txt:

در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.

در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.

این یک نمونه کد فایل robots.txt است:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

این نکته بسیار مهم است که بدونید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن مطالبتون آرشیو یا … استفاده کنید باید بگم که این کار اصلا  عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید,همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد.البته جهت ایندکش شدن مطالبتان نکات بسیار مهم دیگری که حتما در نوشتن مطالبتان باید رعایت کنید وجود دارد که می توانید آنها را در قسمتایندکس شدن مطالب مطالعه بفرمایید.

ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …

قرار دادن نقشه سایت در robots.txt

اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.

به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

ظاهر استاندارد یک فایل robots.txt

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید.

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند.

امیدوارم با این آموزش توانسته باشیم نحوه ساخت فایل robots.txt را به شما یاد داده باشم,با آموزش هایی دیگر از تیم  وب یار با ما همراه باشید.

مطالب مرتبط
بهبود ساختار سایت
مطالعه :

بسیاری از وب‌سایت‌ها ساختار گمراه‌کننده‌ای دارند. لینک دادن محتوا‌ها به یکدیگر از هیچ قاعده و قانونی تبعیت نمی‌کند، کاربر را گیج و سردرگم و به مسیر اشتباهی راهنمایی می‌کند. این می‌تواند برای سئوی سایت شما بسیار بد باشد. امروز شما را با استراتژی بهبود ساختار وب‌سایت آشنا می‌کنیم تا بتوانید جایگاه سایت‌تان را در موتورهای جستجو ارتقا دهید. و از طریق آن بتوانیم به افزایش درآمدتان کمک کنیم. با ما همراه باشید. مسیر کاربر(User Flow) مسیر کاربر و ساختار وب‌سایت ارتباط تنگاتنگی دارند. ساختار وب سایت شما مانند نقشه‌ی معماری یک ساختمان است.این ساختار یک طرح کلی از چگونگی پیوند دادن پست‌ها و صفحات سایت‌تان برای شما فرآهم می‌آورد. با استفاده از مفهومی معروف به خوشه‌بندی محتوا می‌توان دید که چگونه ساختار وب‌سایت ‎تان روی سئوی آن موثر است. در ادامه درباره خوشه‌بندی محتوا توضیح خواهیم داد. از طرف دیگر مسیر کاربر مربوط به نحوه و چگونگی جابجایی کاربران در سایت‌تان است و یکی از عوامل مهم و تأثیرگذار روی سئو است. ساختار وب‌سایت سهم بزرگی در این مهم دارد. از دیگر عوامل مؤثر،می‌توان به کیفیت محتواها و لینک‌های‌تان اشاره کرد. بهترین ابزار برای تجزیه و تحلیل سایت قبل از اعمال هر گونه تغییر اساسی در ساختار وب‌سایت‌ تان باید نحوه استفاده کاربران از سایت‌تان را بررسی کنید. دو برنامه‌ی کاربردی و معروف وجود دارد که می‌توانید برای این کار […]

طراحی سایت حرفه ای
مطالعه : 15 دقیقه

طراحی سایت اصفهان |طراحی سایت حرفه ای | سئو تضمینی سایت تیم طراحی سایت و سئو سایت وب یار به آدرس https://www.webyar.net ، بامجوز رسمی از نظام کامپیوتر کشور و دارای نماد اعتماد و نماد ساماندهی و با ۱۶ سال دانش تخصصی در زمینه طراحی وب سایت ,سئوسایت در گوگل و امنیت سرور

مطالعه :

رپورتاژ آگهی و بک لینک شاید تاکنون این سوال در ذهن شما بوجود آمده که چرا اساتید سئو سایت و بهینه سازی سایت همواره خرید رپورتاژ و بک لینک را توصیه می کنند و یا اینکه خرید رپورتاژ آگهی و بک لینک چه تأثیری در کسب و کار شما دارد؟ اگر می‌خواهید به سوال‌های‌تان پاسخ مناسبی بدهید با تیم طراحی سایت اصفهان وب یار همراه باشید. بهتر است بدانید در سال 2017 میلادی خرید رپورتاژ آگهی و بک لینک یکی از موثرترین عوامل شناخته شدن صفحات وب سایت توسط موتور جستجوگر گول شناخته شد. ابتدا توضیح مختصری درمورد خرید رپورتاژ آگهی و بک لینک برای شما همراهان عزیز ارائه می‌دهیم تا با مفهوم آن آشنا شوید. رپورتاژ آگهی و بک لینک چیست؟   رپورتاژ آگهی رپورتاژ برگرفته از کلمه reportage به معنای گزارش می‌باشد. که به صورت یک مقاله شامل 200 تا 500 کلمه و چند عکس با محتوای هدفمند جهت تبلیغ در قالب پست در سایت ها مخصوصا سایت های پربازدید مانند سایت های خبری به کار برده می شود.   ­­­ بک لینک بک لینک یک روش لینک‌دهی مستقیم به صورت بازگشتی است که باعث ارتقا رتبه سایت شما در موتورجستجوگر گوگل می‌شود.     خرید رپورتاژ آگهی خرید رپورتاژ آگهی یک روش برای تبلیغات می باشد و بک لینک دائمی ایجاد می‌کند. با خرید رپورتاژ می‌توانید بطور […]

طراحی سایت چند فروشندگی زودبا
مطالعه :

طراحی سایت چند فروشندگی زودبا یکی از نمونه کارهای فروشگاهی تیم طراحی سایت وب یار، طراحی سایت فروشگاهی زودباست. این سایت فروشگاهی با حفظ اصول سئو طراحی شده است. و یکی از هزاران نمونه از کارهای زیبا و حرفه‌ای تیم طراحی سایت اصفهان وب یار می‌باشد.   آدرس سایت جهت مشاهده تمامی امکانات داخلی و گرافیکی سایت zudba.com طراحی سایت فروشگاه اینترنتی زودبا منجر به افزایش فروش و درآمد افراد در حوزه‌های مختلف کسب و کار می‌شود. در ادامه با هم امکانات سایت زودبا که به‌تازگی توسط تیم طراحی سایت وب یار طراحی شده است رابررسی می‌کنیم. اگر شما هم نیاز به طراحی سایت و طراحی سایت فروشگاهی دارید بهتر است طراحی سایت اختصاصی فروشگاهی زودبا را ببینید. تا آگاهانه، امکانات سایت خود را انتخاب کنید. چرا که ممکن است در میان انتخاب امکانات سایت خود برخی از نیازهای سایت از خاطر شما دور مانده باشد.     ویژگی طراحی سایت چند فروشندگی زودبا از ویژگی های بارز طراحی سایت چندفروشندگی زودبا ، طراحی سایت اختصاصی، طراحی سایت فروشگاهی و طراحی سایت ارزان قیمت با حجم امکانات بالا در مقایسه با طراحی سایت های ارزان قیمت شرکت های غیر معتبر که برگرفته از قالب های آماده و دزدی سایرین است می باشد. فروشگاه اینترنتی زودبا با در نظر گرفتن سئو یوزرفرندلی در مرحله طراحی گرافیک محیطی زیبا و جذاب جهت ارتباطی […]

بهینه سازی داخلی سایت on the page seo
مطالعه :

سئو داخلی سایت on the page seo این بار برای بهینه سازی صفحات سایت با آموزش سئو داخلی سایت on the page seo در خدمت شما هستیم. میدانیم  که برای بهینه سازی وب سایت خود باید سئو داخلی on-the-page-seo و سئو خارجی سایت همانند استفاده از بک لینک ها (مطلب آموزشی فاکتورهای بک لینک و خرید بک لینک  را در خصوص آگاهی از سئو خارجی سایت خود حتما بخوانید) همزمان با هم انجام بدهیم. در واقع سئو داخلی و سئو خارجی سایت مکمل یکدیگرند و باید به هر دو به یک اندازه توجه شود. سئو خارجی سایت بیشتر به منابع خارج از سایت شما برمی‌گردد و می‌توان گفت نتیجه‌ی آن به طور کامل در دست شما نیست. اما سئو داخلی سایت که مربوط به محتوا و کدهای HTML است کاملا وابسته به شماست و قابل کنترل است. بنابراین با سئو سایت اصفهان وب یار همراه باشید تا تک به تک اجزای مورد نیاز سئو داخلی سایت را برای شما نام برده و توضیح دهیم. عنوان های زیر را برای بهینه سازی صفحات داخلی وب سایت به شما معرفی می کنیم. عنوان های بهینه سازی صفحات داخلی وب سایت: نام وب سایت، عنوان سایت، description ،keyword فایل های اصلی سایت بخش بندی درست  وب سایت در زمان کد نویسی ID.(نام دایو ها و مفهوم ها) Id کلاس( حجم و سرعت gtmetrix ) […]

تغییر پیش شماره های اصفهان
مطالعه :

اگر به دنبال پیش شماره جدید اصفهان و شهرستان‌های آن هستید این مقاله می‌تواند شما را به بهترین نحو کمک کند. تیم طراحی سایت و سئو سایت اصفهان وب یار با ارائه خدمات تخصصی به دنبال افزایش فروش و رونق کسب و کار مشتریان خود می باشد. شهرستان اردستان شهر اصفهان ​​ شهرستان آران و بیدگل ​​ شهرستان برخوار شهرستان نطنز​ توابع اصفهان​​​ شهرستان تیران و کرون​​ شهرستان چادگان شهرستان خمینی شهر​​ شهرستان خوانسار​​ شهرستان خورو بیابانک​​​ شهرستان دهاقان ​شهرستان سمیرم​​ شهرستان شاهین شهر و میمه​ شهرستان شهرضا​ شهرستان فریدن​ شهرستان فریدونشهر​ شهرستان فلاورجان​ شهرستان کاشان​ شهرستان گلپایگان شهرستان لنجان ​شهرستان مبارکه​ شهرستان نائین​ شهرستان نجف آباد پیش شماره جدید اصفهان و شهرستان برای تهیه لیست زیر بسیار وقت گذاشته شده و در یک فایل متن ساده و راحت آماده شده تا هر چه سریعتر کار اداری شما انجام گردد چون وقتتان خیلی با ارزش است. [zarinpalpaiddownloads id=”44″] طراحی سایت حرفه ای شما می‌توانید با طراحی یک سایت حرفه‌ای حضور خود را در دنیای تجارت و این بازار رقابتی  استحکام ببخشید. تیم طراحی سایت اصفهان وب یار این فرصت را در اختیار شما قرار داده است تا با طراحی سایتی حرفه‌ای در میان رقبای داخلی و خارجی خود خوش بدرخشید.   کلاس آموزش طراحی سایت طراحی فروشگاه اینترنتی اختصاصی یکی از قوی‌ترین راه‌های کسب درآمد آنلاین طراحی فزوشگاه اینترنتی اختصاصی […]

دیدگاه ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *