0

هیچ محصولی در سبد خرید نیست.

طراحی سایت در اصفهان, سئو سایت اصفهان, ساخت سایت اصفهان, طراحی سایت حرفه ای اصفهان, بهینه سازی سایت , بازاریابی و دیجیتال مارکتینگ 09133886881 احمدپور

نحوه ایجاد و فواید فایل Robots.txt

نویسنده پشتیبانی وب یار
امتیاز مطلب
تعداد بازدید 480
تاریخ بروزرسانی ۲۳ فروردین ۱۳۹۷

دراین مطلب آموزشی توسط تیم وب یار کاربرد اصلی robots.txt و تاثیر آن بر سئوی ایندکس شدن مطالب را درک میکنیم,  اگر چه وجود robots.txt را بسیار ضروری است,البته عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نیست اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید.

نحوه ایجاد و فواید فایل Robots.txt

نحوه ایجاد فایل robot.txt

نحوه ایجاد فایل robot.txt

کار اصلی robots.txt چیست؟؟؟ این فایل اساسا به سایت شما اجازه میده تا به موتور های جستجو متصل باشند و همچنین به موتور های جستجو می فهماند که کدوم قسمت های وبسایت رو ایندکس کنند.

چگونگی ساخت فایل robots.txt:

اگر نقشه سایتتون رو در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتونند سایت شما رو بررسی کنند.این فایل رو معمولا در ریشه یا همون روت هاست می سازیم. پس کافیه به پنل هاست برید و یک فایل به این نام بسازید.

البته بهتر بدانید هدف از این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد.

 

طریقه استفاده از فایل robots.txt:

در خط اول عبارت user agent رو داریم.در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم.

در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید.

این یک نمونه کد فایل robots.txt است:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /readme.html

این نکته بسیار مهم است که بدونید که اگر میخوایید از این فایل برای جلوگیری از ایندکس شدن مطالبتون آرشیو یا … استفاده کنید باید بگم که این کار اصلا  عاقلانه نیست. برای این کار میتونید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده کنید,همچنین به یاد داشته باشید که هدف این آموزش اینه که بخش هایی از سایت رو که نمیخوایید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد.البته جهت ایندکش شدن مطالبتان نکات بسیار مهم دیگری که حتما در نوشتن مطالبتان باید رعایت کنید وجود دارد که می توانید آنها را در قسمتایندکس شدن مطالب مطالعه بفرمایید.

ما با استفاده از این فایل می تونیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم. مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …

قرار دادن نقشه سایت در robots.txt

اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.

به هر حال اگر به هر دلیلی این اتفاق انجام نشد می تونیم به صورت دستی این کار رو کنیم به شکل زیر

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

ظاهر استاندارد یک فایل robots.txt

راستش خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند. به این کد پایین دقت کنید.

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

کد بالا میگه تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند.

امیدوارم با این آموزش توانسته باشیم نحوه ساخت فایل robots.txt را به شما یاد داده باشم,با آموزش هایی دیگر از تیم  وب یار با ما همراه باشید.

0/5 (0 Reviews)
مطالب مرتبط
ریچ اسنیپت چیست؟
مطالعه :

ریچ اسنیپت چیست؟   ریچ اسنیپت نوعی علامت گذاری ساختار یافته داده است که اپراتورهای سایت به کد HTML صفحات خود اضافه می کنند.هر بار که شما در گوگل جستجو می کنید ، یک دسته از نتایج جستجو نمایش داده می شود. یک نتیجه جستجوی معمول در گوگل شامل موارد زیر است: آدرس اینترنتی عنوان صفحه توضیحات متا ریچ اسنیپت، قطعه ای است که دارای اطلاعات اضافی مانند تصویر کوچک ، رتبه بندی و بررسی های کاربران می باشد. در واقع آن ها ، اطلاعات بیشتری در مورد نتیجه به کاربران می دهد که می تواند باعث افزایش اعتماد آن ها شود.   به عنوان مثال ، اگر سایتی مربوط به دستور العمل های غذایی را اداره می کنید ، می توانید زمان پخت و پز ، رتبه بندی کاربر و یک تصویر کوچک را اضافه کنید تا نتایج جستجو بیشتر جذاب و قابل اعتماد باشد. از آنجا که ریچ اسنیپت ها  اطلاعات بیشتری را ارائه می دهند ، در مقایسه با سایر نتایج ، احتمالاً کاربران روی آن نتیجه کلیک می کنند. از این رو آن ها می توانند مستقیماً نرخ کلیک شما را افزایش دهند.   استفاده از ریچ اسنیپت چه مزیت هایی دارد؟ موارد زیادی برای ورود وب سایت شما در صفحه اول گوگل و سایر موتورهای جستجو وجود دارد. بک لینک با کیفیت و محتوای ارزشمند شاید پر کاربردترین […]

مطالعه :

سلام. امروز می خواهیم در مورد یکی از فریمورک های جذاب جاوا اسکریپت به نام ری اکت با شما صحبت کنیم. این فریموررک بسیار در بخش طراحی سایت کاربردی می باشد. سوالاتی در این زمینه از ما پرسیده شد که به آن ها جواب می دهیم: ری اکت چیست؟ تاریخچه ری اکت چرا ری اکت؟ محبوبیت ری اکت نسبت به فریمورک های دیگر چگونه است؟ ری اکت را می توان جایگزین کدام فریمورک ها کرد؟ تاریخچه : این کتابخانه جذاب توسط جردن واک مهندس نرم افزار در  فیس بوک نوشته شده است. در حدود 7 سال پیش یعنی سال 2013 این فریمورک به وجود آمد. البته لازم به ذکر است که React در سال 2011 توسط این شخص نوشته شد. در سال 2012 در سرویس اینستاگرام به کارگیری شد. سر انجام در سال 2013 در جریان کنفرانس آمریکا این کتابخانه توسط فیس بوک متن باز اعلام شد.   ری اکت چیست؟ ری اکت یا React.js یکی از کتابخانه های محبوب جاوا اسکریپت می باشد. جالب است بدانید که ری اکت مدت زیادی نیست که ارائه شده است. اما در طول همین مدت کم به یکی از محبوب ترین کتابخانه های جاوا اسکریپت تبدیل شده است.محبوبیت این برنامه تا جایی پیش رفته که توسط شرکت های بزرگت ساخته شده است. React توسط کمپانی های بزرگی مانند اینستاگرام و نتفلیکس مورد استفاده قرار می […]

بوت استرپ 5
مطالعه :

سلام در سپتامبر سال 2020 یک خبر توجه همه را به خودش جلب کرد. کمپانی توییتر پنجمین ورژن از فریمورک محبوب بوت استرپ را ارائه کرد. در این نسخه تغییرات بسیار زیادی ایجاد شده است که در ادامه آن ها را خواهیم نوشت. می خواهیم به سوالاتی که در این باره برای شما پیش می آید پاسخ دهیم. بوت استرپ چیست؟ چرا باید از بوت استرپ بلد باشیم؟ بوت استرپ 5 چه ویژگی هایی دارد؟ چه تفاوتی بین ورژن 4 و 5 وجود دارد؟ چگونه از بوت استرپ 4 به 5 کوچ کنیم؟   بوت استرپ چیست؟ بوت استرپ یک فریمورک سی اس اس، محصول کمپانی توییتر می باشد. این محصول علاوه بر ریسپانسیو کردن وبسایت شما به یک سری کلاس آماده برای زیبا سازی و چینش سایت شما مجهز است. این محصول در 5 ورژن عرضه شده که نسخه 5 آن هنوز آزمایشی است. و تا اصلاح شدن آن زمان زیادی لازم است.     ویژگی ها و تفاوت های بوت استرپ 5 : تغییرات در این نسخه از بوت استرپ بسیار زیاد و وسیع بوده به گونه ای که باعث تعجب عموم شده است. در نسخه بتا 1 این تغییرات عبارت اند از: اضافه کردن کلاس جدید شبکه بندی: در این نسخه یک کلاس شبکه بندی برای نمایش گر های بزرگ تر از 1400 پیکسل تحت عنوان col-xxl […]

مطالعه :

وردپرس همان طور که میدانید یک سیستم مدیریت محتوا بر پایه زبان برنامه نویسی پی اچ پی می باشد. شغل های گوناگونی در زمینه وردپرس وجود دارند. در این مقاله ما به پنج شغل پردرآمد وردپرس می پردازیم.شغل هایی که قرار است در مورد آن ها به شما توضیح دهیم و شما را با آن ها بیش تر آشنا کنیم عبارت اند از: ساخت قالب وردپرس ساخت افزونه اختصاصی برای وردپرس ترجمه افزونه های وردپرس به فارسی مدیریت سایت های وردپرسی مسئول امنیت وردپرس     پنج شغل پردرآمد وردپرس: ساخت قالب وردپرس: یکی از رایج ترین و پر درآمد ترین مشاغل وردپرس ساخت قالب وردپرس می باشد. مراحل ساخت یک قالب طبق مقاله طراحی سایت در اصفهان را برای شما توضیح دادیم. اما کمی بیش تر در مورد آن بخواهیم برای شما توضیح دهیم، بعد از این که بخش ویژوال سایت را تکمیل کردیم، به بخش داینامیک سازی قالب ها میرسیم، در ورد پرس همانطور که گفتیم زبان php استفاده شده است. یک سری توابع به صورت پیشفرض در خود فایل های وردپرس وجود دارند. بخش هایی که می شود را به وسیله توابع آماده، آماده می کنیم. برخی از توابع سفارشی در اصطلاح پست تایپ ها را نیز برای آن ها می نویسیم. در موردپست تایپ ها بیشتر بدانید. پس از این که توابع را پیاده سازی کردید […]

ویروس مارکتینگ چیست؟
مطالعه :

ویروس مارکتینگ چیست؟ چه تأثیری روی تجارت من می گذارد؟ آیا ممکن است ویروس مارکتینگ به افزایش فروش و کسب درآمدم کمک کند؟ شاید شما نیز با شنیدن نام ویروس مارکتینگ یا بازاریابی ویروسی از این دست سؤالات و هزاران سؤال دیگر برای تان پیش آمده باشد. در این مقاله از وب یار سعی کرده ایم به راحت ترین صورت ممکن این نوع بازاریابی را برای شما عزیزان توضیح دهیم.   ویروس مارکتینگ چیست؟ ویروس مارکتینگ یا بازاریابی ویروسی نوعی از بازاریابی و دیجیتال مارکتینگ است که به کمک خلاقیت، نوآوری، اینترنت و شبکه های اجتماعی، شناخت رفتار و علایق مردم و ابزارهای مختلف به دیده شدن یک محتوای متنی، عکسی و ویدئو در بستر اینترنت می رسیم. به زبان راحت تر شما محتوای خود را به گونه ای تولید می کنید که مردم با به اشتراک گذاری محتوای شما به شیوه‌ای دهان به دهان باعث دیده شدن تان شود.در این نوع از بازاریابی به سرعت محتوای شما در اینترنت گسترش می‌یابد و شما بهترین فرصت را برای شناساندن خود وکسب و کارتان به افراد را به دست می‌آورید. انتخاب عنوان بازاریابی ویروسی نیز بر همین اساس است. ویروس ها به سرعت تکثیر می‌یابند و در میان افراد پخش می شوند. شما نیز با صرف هزینه‌ای به نسبت کم می توانید محتوایتان را در سطح اینترنت پخش و به سرعت […]

مطالعه :

اگر به فکر فروش محصولات از طریق فروشگاه اینترنتی یا اینستاگرام هستید، نیاز به عکس‌های با کیفیت دارید. در فضای مجازی مشتری شما با دیدن عکس محصولات تصمیم به خرید می‌گیرد. اما یک عکس با کیفیت از محصولات چه ویژگی‌هایی دارد؟ آیا می‌توان با صرف هزینه کم عکس‌های حرفه‌ای گرفت؟ پاسخ به این سوال مثبت است. شما با رعایت چند ترفند ساده می‌توانید عکس‌های خوبی از محصولاتتان بگیرید و آن را در سایت یا اینستاگرام به اشتراک بگذارید. در این مقاله از وب یار به آموزش عکاسی از محصولات برای اینستاگرام می‌پردازیم. آموزش عکاسی از محصولات برای اینستاگرام با 5 ترفند برای شروع آموزش عکاسی از محصولات برای اینستاگرام می‌توانید از دوربین گوشی همراه استفاده کنید. گوشی‌های هوشمند قدیمی که کیفیت دوربین آن‌ها کمتر از 4 مگا پیکسل است برای اینکار مناسب نیستند. اگر دوربین گوشی هوشمند شما کیفیت مناسبی دارد، با استفاده از آن و رعایت نکات زیر می‌توانید عکس‌های با کیفیتی خلق کنید.     1.     نورپردازی مناسب را فراموش نکنید بهترین نوع نورپردازی استفاده از نور طبیعی خورشید است. با نور خورشید رنگ ها پرطروات تر و مرزها مشخص تر هستند. منظور ما عکاسی در نور شدید خورشید نیست. برای عکاسی از محصول نقطه‌ای از اتاق که نور خورشید ملایم است انتخاب کنید. در نظر داشته باشید؛ بهترین زمان برای عکاسی نیم ساعت بعد از طلوع آفتاب […]

دیدگاه ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *