در یک کلام: برای ارتباط با موتور های چستجو از فایل robots.txt استفاده میشود. این فایل یک وسیله برای دادن اجازه به موتور های جستجو میباشد و فرقی نمیکند شما از وردپرس استفاده بکنید یا هر سیستم مدیریت محتوای دیگر و یا اینکه کدام قالب وردپرس در سایت شما فعال میباشد به هر حال این فایل در همه سرور ها وجود دارد اما محتوای داخلی آنها در بعضی از cms ها متفاوت میباشد و ی ماهیت و نوع فعالیت فایل یکی میباشد.
فایل robots.txt وردپرس چیست؟
فایل robots.txt همانند همه فایل های دیگر که در سایت شما وجود دارد یک فایل عادی میباشد که حتی ممکن است در بعضی از سایت ها هم اصلا وجود نداشته باشد اما معمولا وردپرس بعد از اینکه در سروری نصب شود خودش این فایل را درست میکند. این یک فایل متنی میباشد با پسوند txt یا متنی که در آن میتوانیم متن هایی را قرار دهیم اما ویرایش کردن فایل robotx.txt کمی دشوار هست چون اگر تخصصی نداشته باشیم یا اشتباها کدی را قرار بدهیم ممکن است که کلا سایت ما از نتایج گوگل پاک شود.
با استفاده از فایل robots.txt شما میتوانید مشخص بکنید که کدام مطالب و کدام بخش ها از سایت شما در گوگل ایندکس شود و کدام مطالب و بخش های سایت شما در گوگل ایندکس نشود . همچنین میتوانید استثنا هم قرار بدهید و مشخص بکنید که چگونه یک پوشه ایندکس نشود اما چند تا از فایل های مخصوص در آن پوشه ایندکس شوند و…
رابطه افزونه های سئو و فایل robots.txt
سئوی سایت شما رابطه مستقیم با فایل robots.txt دارد و فرقی نمیکند که شما از کدام قالب وردپرس استفاده میکنید یا قصد خرید قالب وردپرس دیگری را دارید به هر حال این فایل در پوشه وردپرس شما وجود دارد و تاثیر خود را دارد با این شرایط که قالب وردپرس سایت شما تاثیری بر روی این فایل ندارد اما برخی از افزونه های موجود در سایت هستند که بر روی فایل robots.txt تاثیر گزار هستند.
در مقالات قبلی که راجب بهترین افزونه سئو صحبت شد و فیلم آموزشی ان در سایت قرار گرفت ما 2 تا از بهترین و اولین افزونه های سئو را با هم مقایسه کردیم و در بین هر 2 افزونه به این فایل robots.txt اشاره شد که که توسط این 2 افزونه قابل تغییر میباشد.
هم افزونه سئو Yoast و هم افزونه All in One Seo Pack تنظیماتی برای اعمال کردن بر روی این فایل robots.txt وجود دارد که شما میتوانید از طریق این افزونه ها کد هایی را به این فایل اضافه بکنید و که مثلا یک صفحه یا یک مطلب مخصوص در سایت شما ایندکس نشود و یا اینکه موردی خاص را به گوگل برای ایندکس معرفی بکنید مانند نقشه سایت و…
فایل robots.txt کجاست؟
این فایل در روت اصلی سایت شما یا همان پوشه public_html وجود دارد و در صورتی که این فایل robots.txt را مشاهده نمیکنید خودتان میتوانید این فایل را درست بکنید و محتوای خودتان را داخل ان قرار دهید.
محتوای داخلی فایل robots.txt
این فایل با سلیقه و تنظیمات شما تغییر میکند و شاید شما هم بخواهید در آن تغییراتی اعمال بکنید که در زیر درباره این فایل توضیحاتی را برای شما قرار داده ایم که در صورتی که قصد سفارشی سازی این فایل را داشته باشید باید حتما فایل robots.txt را متناسب با بهترین کانفیگ تغییر دهید تا بیشترین بازدهی را داشته باشید.
بصورت خلاصه در این فایل ما معرفی هایی داریم. مثلا User-Agent که برای مشخص کردن نوع موتور های جستجو میباشد و در مقابل آن : را قرار میدهیم و نام موتور های جستجو را وارد میکنیم تا مشخص شود که کدام موتور های جستجو سایت ما را ایندکس بکنند.
همچنین در صورتی که بخواهیم موردی را بنویسیم که شامل همه باشد و بدون اینکه جلوی User-Agent نیاز باشد نام آنها را بنویسیم میتوانیم از علامت * استار یا ستاره استفاده بکنیم که برای این میباشد که شامل همه موتور های جستجو میباشد.
اصولا در این فایل ما مشخص میکنیم که به کدام دسته بندی ها یا کدام پوشه های سایت موتور های جستجو دسترسی داشته باشند و به کدام پوشه ها و دسته بندی ها و بخش های سایت دسترسی نداشته باشند و مطالب انجا را ایندکس نکنند.
برای دادن اجازه به گوگل برای ایندکس کردن بخش های سایت از عبارت Allow استفاده میکنیم و اگر بخواهیم که یک بخش یا پوشه را ایندکس نکنند از عبارت Disallow استفاده میکنیم.
همچنین برای اینکه بخواهیم به گوگل سایت مپ ونقشه های سایت خودمان را معرفی بکنیم از عبارت Sitemap استفاده میکنیم.
با توجه به این توضیحات کد زیر را بررسی بکنید:
User-Agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.wpbeginner.com/post-sitemap.xml Sitemap: http://www.wpbeginner.com/page-sitemap.xml Sitemap: http://www.wpbeginner.com/deals-sitemap.xml Sitemap: http://www.wpbeginner.com/hosting-sitemap.xml
در کد بالا به همه موتور های جستجو اجازه میدیم تا بتوانند سایت ما را ایندکس بکنند، موتور جستجوی مخصوصی را در نظر نمیگیریم. همچنین مشخص میکنیم که بتوانیم به آدرس های /?display=wide و /wp-content/uploads/ دسترسی داشته باشیم و به آدرس های /wp-content/plugins و /readme.html و /refer/ به موتور های جستجو اجازه ایندکس را نمیدهیم تا در نتایج جستجو ها نمایش داده نشوند.
همچنین برای معرفی کردن سایت مپ و نقشه سایت هم از Sitemap استفاده میکنیم.
با توجه به تخصصی بودن اگر دانش و تخصصی ندارید فایل robots.txt را ویرایش نکنید چون ممکن است که بخاطر یک اشتباه کلا سایت شما از گوگل حذف شود.
با تشکر از همراهی شما دوستان، اگر سوالی دارید در قسمت نظرات اعلام بکنید تا راهنمایی شوید همچنین اگر قصد خرید قالب وردپرس را دارید میتوانید به دسته بندی قالب وردپرس در سایت مراجعه بکنید یا با شماره پشتیبان برای مشاوره تماس بگیرید.
