آموزش ساخت فایل robots.txt برای لاراول

robots.txt یک فایل متنی ساده ولی قدرتمند است که می تواند در آزاد کردن قدرت مدیریت وب سایت تاثیر زیادی داشته باشد. این فایل در ریشه سایت شما قرار می گیرد و می تواند به راحتی از استاندارد حذف روبات ها پیروی کند. به این صورت که اگر آدرس وب به شکل WWW.Yourdomain.Com باشد، آدرس دوم آن به شکل WWW.Yourdomain.Com/robots.txt خواهد بود، اما مفهوم دقیق و بیشتر از کارایی فایل robots.txt را در ادامه مورد بحث قرار خواهیم داد و در صورت تمایل می توانید با مراحل موجود در این راهنما یک فایل robots.txt برای لاراول بسازید.

مزیت های استفاده از فایل robots.txt برای لاراول

همواره در پروژه های لاراول به نکاتی در مورد اهمیت ساخت و استفاده از فایل های robots.txt برخورد کرده ایم که تعدادی از مهم ترین آن ها در ادامه برای شما بازگو شده است:

• کنترل دسترسی ربات های خزنده

استفاده از فایل robots.txt در Laravel به وب مستران این امکان را می دهد تا قوانینی را برای ایندکس شدن و نحوه خزیدن ربات های جستجوگر در صفحات وب ایجاد کنند.

• حفظ حریم خصوصی برای اطلاعات حساس

فایل robots.txt از امکان دسترسی آسان به صفحات مدیریتی و اطلاعات حساس و خصوصی در وب سایت شما جلوگیری خواهد کرد. 

• ارتقا سرعت ایندکس

زمانی که قوانین ثابتی را برای ربات های خزنده مشخص می کنید، این کار موجب کم شدن زمان دسترسی ربات های خزنده به محتواهای مهم شما خواهد شد.

• تاثیر مثبت بر سئو

تمامی بایدها و نبایدهایی که در فایل robots.txt ایجاد می کنید به عنوان بخشی از استراتژی بهینه سازی موتورهای جستجو شناخته می شود و به رتبه بندی صفحات کمک بیشتری می کند.

• کاهش بار سرور

برای وب سایت های پیچیده و بزرگ اهمیت کاهش بار سرور و استفاده بهینه تر از منابع دوچندان است و این موضوع با جلوگیری از ایندکس شدن صفحات غیر ضروری وب با فایل robots.txt امکان پذیر است.

• جلوگیری از تداخل صفحات در وب

فیلتر و دسته بندی صفحات در وب با ساخت یک فایل robots.txt به راحتی قابل کنترل است که نشان دهنده حرفه ای بودن و توجه شما به جزئیات می باشد.

ساخت فایل robots.txt در Laravel با 5 مرحله ساده

در شروع ساخت و استفاده از فایل robots.txt باید در نظر داشته باشید که به دامنه ریشه دسترسی کامل داشته باشید در صورت عدم اطلاع از این دسترسی می توانید از ارائه دهنده میزبانی وب خود سوال کنید.

1- ساخت فایل robots.txt

شما می توانید از هر ویرایشگر متنی برای ایجاد فایل robots.txt استفاده کنید، زیرا مهم ترین نکته نحوه ساخت و محل فایل گذاری خواهد بود. برای شروع باید فاکتورهای مهم زیر را در نظر بگیرید:

• ریشه دامنه: WWW.Yourdomain.com/robots.txt
• زیر دامنه: Page.Yourdomain.com/robots.txt
• پورت های غیر استاندارد: WWW.Yourdomain.com:881/robots.txt

نکته مهم! حتماً باید مطمئن شوید که فایل robots.txt از نوع فایل های متنی و کدگذاری شده در UTF-8 می باشد. در صورتی که این قانون را نادیده بگیرید ممکن است قوانین robots.txt شما نامعتبر تلقی شود.

2- تعیین User-agent

همان طور که اطلاع دارید User-agent یک عامل کاربر برای صدور اجازه برای خزنده های وب یا موتورهای جستجو می باشد که در این مرحله باید User-agent را در فایل robots.txt تنظیم کنید. بنابراین ابتدا می توانید با کمک گرفتن از تصویر راهنما زیر از چند خزنده و همچنین ارتباط آن ها مطلع شوید.

امتحان کردن یکی از 3 روش زیر برای تنظیم User-agent در فایل robots.txt برای شما کاربردی خواهد بود:

• روش اول: ایجاد یک عامل

استفاده از دستور زیر DuckDuckBot را به عنوان تنها عامل کاربر در نظر می گیرد و User-agent: NameOfBot را برای شما ایجاد می کند:

• روش دوم: ایجاد بیش از یک عامل

در حالتی که به بیش از یک کابر عامل در فایل robots.txt نیاز دارید باید با کمک DuckDuckBot user-agent دستور زیر را وارد کنید و فقط نام کاربر جدید را اضافه خواهید کرد که در این آموزش Facebot در نظر گرفته شده است:

• روش سوم: تنظیم تمام خزنده ها به عنوان کاربر

برای اینکه تمام خزنده و ربات ها را مسدود کنید باید نام ربات مورد نظرتان را با نماد (*) جایگزین کنید که می توانید با دستور زیر این کار را انجام دهید: 

3- تنظیم قوانین برای فایل robots.txt

طبق ساختار موجود فایل های robots.txt به صورت گروهی خوانده می شوند و به این منظور باید گروه، کاربر و دستورالعمل هایی را برای پیروی مشخص کنید که در آن فایل ها و یا دایرکتوری هایی که کاربر اجازه و یا عدم اجازه به دسترسی دارد مشخص شود. نمونه هایی از قوانین قابل وضع برای این فایل در ادامه ذکر شده است که می توانید از آن ها استفاده کنید:

• قانون Disallow

این دسته از دستورات به صفحه یا دایرکتوری مربوط به دامنه اصلی اشاره می کنند و User-agent در آن نمی خزد. نماد (/) همراه با آدرس کامل این عملیات را برای شما انجام خواهد داد.

• قانون Allow

برخلاف دستور قبلی این قانون برای خزیدن User-agent در صفحاتی است که به صفحه یا دایرکتوری مربوط به دامنه ریشه مربوط می شود و همانند روش قبلی با کمک نماد (/) است ولی دستور Allow برای لغو قانون Disallow باید ذکر شود.

• نقشه Sitemap

این گزینه اختیاری است و بسته به دستوراتی که استفاده کرده اید می توانید از ایجاد یک نقشه برای وب سایت خود و راهنمایی بیشتر خزیدن ربات ها کمک بگیرید.

• نحوه تنظیم قوانین

همان طور ذکر شد خزنده ها به صفحات و دایرکتوری هایی دسترسی خواهند داشت که صراحتاً از Disallow در آن ها استفاده نشده باشد. به همین دلیل باید Disallow: / را در  user-agent به صورت قطعی همانند دستور زیر استفاده شود:

در ادامه قوانین اگر تمایل به مسدود سازی Subdomain خاصی را دارید باید یک نماد (/) و URL کامل زیر دامنه را در قانون Disallow اضافه نمایید:

همچنین برای مسدود کردن دایرکتوری خاص بدین شکل باید عمل کنید:

در صورت علاقه به جمع آوری اطلاعات صفحات شما در موتورهای جستجو دستور زیر کمک کننده خواهد بود:

4- آپلود فایل robots.txt

با توجه به ماهیت فایل های robot.txt منطقی است بدانیم که وب سایت ها به صورت خودکار این فایل را ندارند و باید آن را آپلود کرد. آپلود فایل robots.txt به ساختار فایل وب سایت و محیط میزبانی وب شما بستگی دارد، اما در حالت کلی باید در فهرست اصلی وب سایت آپلود گردد.

5- بررسی کارکرد فایل robots.txt

روش های زیادی برای بررسی نحوه کارکرد درست فایل robots.txt وجود دارد که تعداد از آن ها استفاده از موارد زیر می باشد:

• Google’s robots.txt Tester
•  robots.txt Validator and Testing
• Ryte’s robots.txt Test

سخن آخر

این آموزش ساده ترین مراحل ساخت و استفاده از فایل robots.txt در لاراول را در اختیار شما گذاشت که می تواند باعث صرفه جویی در وقت و جلوگیری از خزیدن های غیر ضروری محتوا در سایت شما شود، اما باید نهایت دقت را در طراحی فایل robots.txt داشته باشید تا بتوانید با خزنده های موتورهای جستجو همزیستی مسالمت آمیزی ایجاد کرده و رتبه بندی و آینده وب سایت خود را تضمین کنید.