دوستان وبمستر98 امروز در خدمت شما هستیم با آموزش بهینه سازی فایل robots.txt برای سئو. در این بخش از آموزش وردپرس قصد داریم به بررسی موضوع بهینه سازی robots.txt در سئو بپردازیم و اینکه به شما یاد دهیم اگر مایل باشید خودتان بتوانید ربات وردپرس را بهینه نمایید. ربات وردپرس نقش بسیار مهم و حیاتی را در سراسر عملکرد سئوی سایت شما بر عهده دارد. در واقع این ربات به شما اجازه می دهد که با موتورهای جستجو ارتباط برقرار نمایید و به آنها این مجوز را دهید که چه قسمت هایی از سایت شما را index کند. برای آشنایی بیشتر با این ربات وردپرس و بهینه سازی آن برای سئوی سایت تا پایان همراه ما باشید.
آموزش بهینه سازی فایل robots.txt برای سئو
شاید این سوال در ذهن هر کسی به وجود آمده که آیا واقعا با این فایل نیاز است؟ همان طور که در بالا هم اشاره شد نقش مهم این ربات در سئو سایت مربوط به برقراری ارتباط آن با موتور جستجو می باشد و اگر شما این فایل را نداشته باشید موجب می شود موتورهای جستجو نتوانند سایت شما را بررسی و ایندکس کنند و می دانید که شاخص گذاری سایت چقدر ارزشمند می باشد. بنابراین توصیه تیم وبمستر98 به شما این است که حتما این فایل را را بسازید و داشته باشید.
آموزش بهینه سازی فایل robots.txt برای سئو
نحوه ی استفاده از فایل robots.txt
به طور کلی فرمت این فایل بسیار ساده می باشد. در خط اول عبارت user agent به این معنی می باشد که شما باید نام رباتی را که می خواهید با آن در ارتباط باشید وارد کنید. فرضا Googlebot , Bingbot و در ادامه با وارد کردن * در انتها مجوز برقراری ارتباط با همه موتورهای جستجو را می دهید.
نمونه کد فایل robots.txt
*:User-Agent
/Allow: /wp-content/uploads
/Disallow: /wp-content/plugins
Disallow: /readme.html
بهینه سازی فایل robots.txt برای سئو سایت
قبل از شروع این نکته را بدانید که اگر می خواهید از این فایل برای جلوگیری از ایندکس شدن دسته بندی ها یا صفحات آرشیو استفاده کنید، به این صورت کار منطقی نمی باشد و شما باید از افزونه WordPress SEO by Yoast استفاده کنید.
توجه!!!
همان طور که می دانید در این پست آموزشی ما می خواهیم با کمک robots.txt بخش هایی از سایت را که نمی خواهیم ربات های گوگل در آن خزش و بررسی کنند را تعیین کنیم یعنی یه جور بهینه سازی. گوگل به مدیران سایت ها توصیه می کند تا از این فایل برای مخفی کردن محتوای بی کیفیت استفاده کنند. اما نیازی نیست صفحه ورود، مدیریت دایرکتوری یا صفحه ثبت نام را به فایل robots.txt خود اضافه نمایید.
آموزش بهینه سازی فایل robots.txt برای سئو
توصیه خیلی مهم!!!
اجازه ندهید فایل readme ایندکس شود، زیرا در این صورت دسترسی برای کسانی که می خواهند از ورژن وردپرس شما مطلع گردند به راحتی امکان پذیر است. از طرفی اگر کسی با ورژن خاصی از وردپرس در حال اجرای پرسجوهای مخرب باشد با ایندکس نشدن این فایل از حملات احتمالی آنها جلوگیری می گردد.
هم چنین می توانید از ایندکس شدن دایرکتوری افزونه های خود برای امنیت هر چه بیشتر جلوگیری کنید.
آموزش بهینه سازی فایل robots.txt برای سئو
قرار دادن فایل نقشه سایت در robots.txt
اگر از افزونه Yoast’s WordPress SEO یا هر افزونه ای دیگر برای ساخت نقشه سایت استفاده می کنید به صورت اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد.
اگر مشکلی هم وجود داشت می توانیم به صورت دستی این کار را انجام دهیم.
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
فایل robots.txt استاندارد چگونه می باشد؟
جالب است بدانید که خیلی از سایت های مشهور از robots.txt های ساده ای استفاده می کنند. مثل نمونه زیر:
*:User-agent
:Disallow
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
قطعه کد بالا به این مفهوم می باشد که تمامی ربات ها به محتوای صفحه اول و لینک های نقشه سایت دسترسی داشته باشند.
نمونه ای دیگر از فایل robots.txt
*:User-Agent
Allow: /?display=wide
/Allow: /wp-content/uploads
/Disallow: /wp-content/plugins
Disallow: /readme.html
/Disallow: /refer
Sitemap: http://www.sample.com/post-sitemap.xml
Sitemap: http://www.sample.com/page-sitemap.xml
Sitemap: http://www.sample.com/deals-sitemap.xml
Sitemap: http://www.sample.com/hosting-sitemap.xml
خب دوستان امیدوارم پست آموزشی امروز برایتان کاربردی بوده باشد.
ممنون از همراهی شما با این بخش از آموزش وردپرس. در صورت هر گونه سوال لطفا سوال خود را در قسمت نظرات مطرح بفرمایید. همچنین اگر قصد خرید قالب وردپرس برای سایت خود از یک منبع معتبر را دارید میتوانید به دسته بندی قالب وردپرس در سایت وبمستر98 مراجعه بکنید.
