0

هیچ محصولی در سبد خرید نیست.

طراحی سایت در اصفهان, سئو سایت اصفهان, ساخت سایت اصفهان, طراحی سایت حرفه ای اصفهان, بهینه سازی سایت , بازاریابی و دیجیتال مارکتینگ 09133886881 احمدپور

نحوه ایجاد و فواید فایل Robots.txt

نویسنده پشتیبانی وب یار
امتیاز مطلب
تعداد بازدید 435
تاریخ بروزرسانی ۲۳ فروردین ۱۳۹۷

دراین مطلب آموزشی توسط تیم وب یار کاربرد اصلی robots.txt و تاثیر آن بر سئوی ایندکس شدن مطالب را درک میکنیم,  اگر چه وجود robots.txt را بسیار ضروری است,البته عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید.

نحوه ایجاد و فواید فایل Robots.txt

نحوه ایجاد فایل robot.txt

نحوه ایجاد فایل robot.txt

کار اصلی robots.txt چیست؟؟؟ این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنین به موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.

چگونگی ساخت فایل robots.txt:

اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند.این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید.

البته بهتر بدانید هدف از این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد.

 

طریقه استفاده از فایل robots.txt:

در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.

در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.

این یک نمونه کد فایل robots.txt است:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

این نکته بسیار مهم است که بدونید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن مطالبتون آرشیو یا … استفاده کنید باید بگم که این کار اصلا  عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید,همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد.البته جهت ایندکش شدن مطالبتان نکات بسیار مهم دیگری که حتما در نوشتن مطالبتان باید رعایت کنید وجود دارد که می توانید آنها را در قسمتایندکس شدن مطالب مطالعه بفرمایید.

ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …

قرار دادن نقشه سایت در robots.txt

اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.

به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

ظاهر استاندارد یک فایل robots.txt

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید.

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند.

امیدوارم با این آموزش توانسته باشیم نحوه ساخت فایل robots.txt را به شما یاد داده باشم,با آموزش هایی دیگر از تیم  وب یار با ما همراه باشید.

0/5 (0 Reviews)
مطالب مرتبط
مطالعه :

در مقاله قبلی در شرکت وبیار به شما یک نرم افزار انحصاری که فقط با سیستم عامل mac os کار میکرد را به شما ارائه دادیم. در این مقاله میخواهیم تا به شما نحوه چگونگی کار کردن با یک نرم افزاری که به صورت عمومی برای تقریبا همه سیستم عامل ها به جز لینوکس را ساپورت میکند.این نرم افزار متعلق به شرکت ادوبی می باشد. و به نام ادوب ایکس دی ( adobe XD ) شناخته می شود. اکنون به سراغ سوالاتی می رویم که در ادامه برای شما به وجود می آید.این سوالات عبارت اند از: ادوب ایکس دی چیست؟ ادوب ایکس دی با بقیه رقبای خود چه مزایایی دارد؟ معایب این نرم افزار چیست؟ ادوب ایکس دی چیست؟ ادوب ایکس دی یک نرم افزار خوب در زمینه طراحی رابط کاربری می باشد.  و امکانات بسیار زیادی را در اختیار شما قرار می دهد. دیروز در مورد نرم افزار اسکچ گفتیم که این نرم افزار با فوتوشاپ و ایکس دی مقایسه می شود. در سال گذشته ادوب ایکس دی بهترین طراح رابط کاربری در میان محصولات موجود در این زمینه شد.شما با تسلط به این نرم افزار می توانید استوری و پست اینستاگرام و طراحی رابط کاربری سایت های خود را انجام دهید.اما حال این نرم افزار جذاب را با بقیه رقبای خود بررسی می کنیم.     ادوب […]

اسکچ چیست؟
مطالعه :

امروزه ظاهر سایت و رابط کاربری آن بسیار روی کاربران تاثیر می گذارد. شما باید از بروز ترین و بهترین نرم افزار های موجود جهت طراحی رابط کاربری خود استفاده کنید.امروز با یک نرم افزار انحصاری در خدمت شما هستیم.یکی از قدرتمند ترین ها در سطح خود می باشد.این نرم افزار اسکچ نام دارد. سوالاتی راجع به این نرم افزار وجود دارد که آن ها را عنوان می کنیم و یکی یکی به آن ها پاسخ می دهیم.این سوالات عبارت اند از: اسکچ چیست؟ آیا می توان اسکچ را بر روی ویندوز اجرا کرد؟ مزایای اسکچ کدام اند؟ نرم افزار های جایگزین اسکچ در ویندوز و لینوکس کدام اند؟ اسکچ چیست؟ اسکچ یک نرم افزار مبتنی بر سیستم عامل mac os که به طور انحصاری متعلق به لپتاپ ها و سیستم های شرکت اپل می باشد. این نرم افزار در سال 2011 شروع به کار کرد. به طوری که رفته رفته به یکی از محبوب ترین نرم افزار های طراحی رابط کاربری و گرافیک سایت تبدیل شد. اما اصلی ترین ایراد این نرم افزار را می توان به انحصاری بودن آن ربط داد. به طوری که شما نمی توانید با نرم افزار های ویندوزی فایل های اسکچ را راه اندازی کنید.     آیا می توان اسکچ را روی ویندوز اجرا کرد؟ همان طور که در بالا به شما گفتیم […]

مطالعه :

اگر به فکر فروش محصولات از طریق فروشگاه اینترنتی یا اینستاگرام هستید، نیاز به عکس‌های با کیفیت دارید. در فضای مجازی مشتری شما با دیدن عکس محصولات تصمیم به خرید می‌گیرد. اما یک عکس با کیفیت از محصولات چه ویژگی‌هایی دارد؟ آیا می‌توان با صرف هزینه کم عکس‌های حرفه‌ای گرفت؟ پاسخ به این سوال مثبت است. شما با رعایت چند ترفند ساده می‌توانید عکس‌های خوبی از محصولاتتان بگیرید و آن را در سایت یا اینستاگرام به اشتراک بگذارید. در این مقاله از وب یار به آموزش عکاسی از محصولات برای اینستاگرام می‌پردازیم. آموزش عکاسی از محصولات برای اینستاگرام با 5 ترفند برای شروع آموزش عکاسی از محصولات برای اینستاگرام می‌توانید از دوربین گوشی همراه استفاده کنید. گوشی‌های هوشمند قدیمی که کیفیت دوربین آن‌ها کمتر از 4 مگا پیکسل است برای اینکار مناسب نیستند. اگر دوربین گوشی هوشمند شما کیفیت مناسبی دارد، با استفاده از آن و رعایت نکات زیر می‌توانید عکس‌های با کیفیتی خلق کنید.     1.     نورپردازی مناسب را فراموش نکنید بهترین نوع نورپردازی استفاده از نور طبیعی خورشید است. با نور خورشید رنگ ها پرطروات تر و مرزها مشخص تر هستند. منظور ما عکاسی در نور شدید خورشید نیست. برای عکاسی از محصول نقطه‌ای از اتاق که نور خورشید ملایم است انتخاب کنید. در نظر داشته باشید؛ بهترین زمان برای عکاسی نیم ساعت بعد از طلوع آفتاب […]

انجام کلیه ی تبلیغات کاندیدای شورای شهر و کشور
مطالعه :

انجام تبلیغات کاندیدای شورای شهر استان اصفهان انجام تبلیغات کاندیدای شورای شهر و کشور توسط یکی از حرفه‌ای‌ترین تیم‌های تبلیغات و دیجیتال مارکتینگ استان اصفهان امکان‌پذیر می‌باشد. کاندیداهای محترم شورای شهر می توانند جهت دریافت مشاوره تخصصی و همچنین انجام تبلیغات تخصصی با تیم تبلیغات کاندیداهای شورای شهر و کشور تماس حاصل فرمایند.   خدمات و تبلیغات گسترده ی تیم دیجیتال مارکتینگ وب یار در این زمینه شامل موارد زیر است: ارسال انبوه پیامک های تخصصی، مهندسی اجتماعی و تبلیغاتی به مشاغل و فعالان کسب کار با هدف جذب و ایجاد قشر حمایت کننده بر اساس منطقه خاص ارسال تبلیغات انبوه تخصصی بدون محاسبه هزینه هر ارسال در واتساپ و ایجاد گروه های حمایتی ومدیریت آنها ارسال تبلیغات کاندیدای شورا به شماره ها و آی دی های گروه های تلگرام و کاربران بر اساس منطقه و شهر و افزون افراد بر اساس منطقه مسکونی و شهر به گروه های حمایتی شما کاندیدای محترم شورای شهر و کشور. طراحی وبسایت سریع و سبک برای کاندیداها با هدف پاسخگویی و پرسنال برندینگ چند جانبه با قابلیت استفاده در عرصه های محتلف شرکتی یا شخصی با قیمت مناسب. بررسی روش های تبلیغاتی و سخنرانی و مشاوره برای مردم و همچنین یادگیری روش های بازخورد گیری از تبلیغات اینترنتی برای انتخابات شوراها وب یار یک تیم متشکل از متخصصین دیجیتال مارکتینگ و بازاریابی که […]

تفاوت وب سایت و وب اپلیکیشن چیست ؟
مطالعه :

وب سایت یا وب اپلیکیشن کدام یک انتظارات شما را برآورده می کند؟ تفاوت اصلی چیست و کدام یک بهترین راه حل برای تجارت شما خواهد بود؟ در این مقاله وب یار به بررسی تفاوت وب سایت و وب اپلیکیشن می پردازیم.   وب سایت چیست؟   وب سایت گروهی از صفحات وب قابل دسترسی جهانی است که به هم پیوسته اند و دارای یک نام دامنه واحد هستند. توسط فردی ، تجاری یا سازمانی قابل توسعه و نگهداری است. یک وب سایت در یک وب سرور منفرد یا چندگانه میزبانی می شود.هدف اصلی آن ارائه اطلاعات به کاربران است. در وب سایت ، ما می توانیم متن و پرونده های مختلف چندرسانه ای ، مانند تصاویر یا فیلم ها را پیدا کنیم. چه زمانی به وب سایت نیاز دارید؟ وب سایت یک روش موثر برای ارائه محصولات و خدمات شما است. این می تواند به شما کمک کند: مشتری جدید پیدا کنید بهبود شناخت برند افزایش فروش و درآمد ارائه اطلاعات مهمی مانند: اطلاعات شرکت ، اطلاعات تماس ، لیست قیمت ، پیشنهادات ویژه و .. وب اپلیکیشن چیست؟   وب اپلیکیشن ، نرم افزار یا برنامه ای است که در مرورگر اجرا می شود و از طریق رابط کاربری سرویس خاصی را به کاربر ارائه می دهد. معمولاً به سرور مرکزی متصل می شود تا محتوا را به کاربر […]

همه چیز دربار فیگما
مطالعه :

در زمینه طراحی رابط کاربری نرم افزار های مختلفی وجود دارند که قبلا با آن ها آشنا شده اید در ادامه یه چند مورد خواهیم پرداخت. فیگما یکی از نرم افزار های رابط کاربری است که از آن برای طراحی رابط کاربری وب سایت ها و اپلیکیشن ها استفاده می شود.در این مقاله به بررسی همه چیز درباره فیگما می پردازیم. فیگما چیست؟ همان طور که گفته شد فیگما یک نرم افزار برای طراحی رابط کاربری می باشد. این نرم افزار به صورت یک وب اپ می باشد که در بروزر خود اجرا می کنید. بر خلاف تصور عموم یک وب اپ نمی تواند گرافیک یک وب سایت یا اپلیکیشن را به خوبی و با کیفیت عالی ارائه دهد. اما با رفتن به سایت figma و دیدن امکانات این سایت به این باور می رسید که فیگما ، یکی از قدرتمند ترین نرم افزار های طراحی رابط کار بری می باشد. طریقه دسترسی به نرم افزار فیگما: این نرم افزار را هم می توانید به صورت تحت وب باز و مرورگر خود باز کنید. فقز در هر دو صورت باید سیستم شما به اینترنت متصل باشد.     ویژگی ها: فیگما یک نرم افزار تحت وب گسترده می باشد که ویژگی های بسیار جذابی دارد.اکنون به چند ویژگی این اپلیکیشن بی نظیر اشاره می کنیم. قابلیت استفاده در همه سیستم […]

دیدگاه ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *