اگر سایت داری، احتمالاً کمی دربارهی سئو شنیدی! یکی از بخشهای مهم و نسبتاً سادهی سئو «فایل robots.txt» هست. وظیفهاش اینه که به رباتهای موتورهای جستجو (مثل گوگل، بینگ و…) بگه کدوم بخشهای سایت رو بررسی کنن و کدوم قسمتها رو نادیده بگیرن.
به عبارت سادهتر، این فایل مثل یک تابلو راهنما برای موتورهای جستجو عمل میکنه تا سایتت منظمتر و امنتر ایندکس شود.
مثلاً میتونه بگه:
“سلام گوگل! لطفاً فولدر /admin رو بررسی نکن، چون مخصوص مدیر سایته!”
این فایل کوچک اما مؤثر، نقش مهمی در نحوه رفتار رباتهای خزنده (مثل Googlebot) با سایتت داره.
فایل Robots.txt کجاست؟
محل قرارگیری این فایل همیشه در دایرکتوری ریشه یا به عبارتی دایرکتوری اصلی (Root Directory) وبسایت هست. یعنی:
اگر سایتت وردپرس باشه، توی پوشه اصلی هاست سایت قرار گرفته و معمولاً بهصورت خودکار ایجاد میشه. اما در سایر CMSها یا سایتهای سفارشی، خودت باید بسازی یا ویرایشش کنی.
برای مثال:
https://example.com/robots.txt
اون قسمت آخر رو به انتهای دامنه اضافه کنید و در مرورگر اینتر کنید، یک صفحه سفید با چند خط تکست برایتان نمایش میدهد که در واقع همان فایل ربوتس است.
اگر مکان فایل اشتباه باشد مثلاً در پوشه فرعی یا داخل فولدر admin باشد، موتورهای جستجو آن را نخواهند دید. در سایتهای وردپرسی میتوانی آن را از طریق FTP یا کنترل پنل هاست ویرایش کنی.
ساختار ساده فایل Robots.txt
فایل robots.txt معمولاً ساختاری ساده و متنی داره. هر خط شامل دستوراتی برای ربات خاص یا همه رباتها میشود.
فایل robots.txt شامل چند دستور اصلی است:
| دستور | معنی | نمونه |
| User-agent | تعیین ربات هدف (مثلاً Googlebot یا Bingbot) | User-agent: * برای همه رباتها |
| Disallow | مسیرهایی که نباید بررسی یا ایندکس شوند | Disallow: /admin/ |
| Allow | مسیرهای مجاز درون فولدرهای مسدود | Allow: /admin/public/ |
| Sitemap | معرفی نقشه سایت برای ایندکس یا راهنمایی راحتتر | Sitemap: https://example.com/sitemap.xml |
مثال کاربردی برای سایت وردپرس:
User-agent: *
Disallow: /نام دایرکتوری که نمیخواهید موتور جستجو به آن دسترسی داشته باشد/
Allow: /نام دایرکتوری که میخواهید دسترسی به آن وجود داشته باشد/
Sitemap: https://example.com/sitemap.xml
توضیح مثال:
- User-agent: * یعنی این قوانین برای همهی رباتها صدق میکنه.
- مثلا فولدر /admin/ نباید بررسی بشه.
- مثلا بخش /blog/ مجازه است که گوگل (و سایر موتورهای جستجو) به آن دسترسی داشته باشد.
- و در آخر، مسیر نقشه سایت اضافه شده.
نحوه تست فایل Robots.txt
ابزارهایی برای تست فایلهای robots.txt وجود داره، مثلاً:
- اگر در گوگل سرچ کنید Robots.txt Tester سایتهایی هستند که با دادن آدرس سایت خودتان، داشتن یا نداشتن فایل را برایتان تست میکند.
- راه دیگر این است که آدرس دامنه را در مرورگر وارد کنید بعد یک / بگذارید و حالا بنویسد robots.txt و اینتر بزنید.
- بهترین راه هم چک کردن از سرچ کنسول است. وارد سرچ کنسول شوید، از قسمت setting بخشی به نام robots.txt وجود دارد که معمولا valid است اما اگر نبود خودتان میتوان فایل روبوتس را به سرچ کنسول اضافه کنید.
اشتباهات رایج در Robots.txt
این فایل در واقع مرامنامه سایت شما است، اما ممکن است اشتباهاتی خواسته یا ناخواسته در نگارش فایل داشته باشید که اگر متوجه آن نشوید فاجعه بار خواهد بود، پس این قسمت را با دقت بیشتری بخوانید:
۱. مسدود کردن ناخواسته کل سایت:
مثلاً نوشتن:
User-agent: *باعث میشه هیچ محتوایی ایندکس نشه. بستن سایت از ربوتس برای سایتهایی که تازه طراحی شدن یه چیز طبیعیه، چون تا سایت تکمیل نشده نباید بذاریم ایندکس بشه، اما نباید فراموش کنیم که بعد از تکمیل طراحی، فایل رو اصلاح کنیم. فاجعه هم وقتیه که سایت شما ایندکس شده و رتبه و ورودی هم داره و حالا به اشتباه از روبوتس دسترسی خزندهها را میبندید، این اشتباه یه نوع خودکشیه! پس همین الان فایلت رو یه چک بکن!
Disallow: /
۲. مسدود کردن فایلهایی که سئو نیاز داره:
مثل CSS یا JS — اگر این فایلها بسته باشن، گوگل نمیتونه ظاهر واقعی سایت رو ببینه و ممکنه در امتیاز سئو اثر منفی بذاره.
۳. فراموشی دستور Sitemap:
گوگل با دیدن Sitemap سریعتر و بهتر سایت رو ایندکس میکنه. پس باید آدرس سایت مپ در فایل باشه که گوگل با یه نگاه همه چیز دستش بیاد و معطل نشه. درباره سایت مپ هم مقاله جداگانه داریم که میتوانید از اونجا بخوانید.
نکات حرفهای سئو برای Robots.txt
- همیشه فایل رو با حروف کوچک robots.txt بنویس.
- تغییراتش رو با ابزار گوگل تست کن.
- مسیرهای حساس (مثلاً صفحه ورود یا تنظیمات مدیر سایت) رو مسدود کن.
- فایلهای عمومی مثل عکسها و محتوای بلاگ رو باز بگذار تا ایندکس بشن.
- بهتره نقشه سایت رو درون فایل درج کنی تا رباتها سریعتر همه مسیرها رو پیدا کنن.
کاربرد فایل Robots.txt در سئو
فایل robots.txt مستقیماً در رتبه سایت تأثیر ندارد، اما بهطور غیرمستقیم نقش مهمی ایفا میکند. در واقع اگر درست تنظیم شود، به سئو سایت کمک میکند تا:
- افزایش سرعت ایندکس صفحات مهم – رباتها فقط محتوای ارزشمند را بررسی میکنند.
- جلوگیری از ایندکس محتوای بیارزش مثل صفحه ورود، داشبورد یا نسخههای تکراری صفحات.
- بهبود امنیت اطلاعات سایت با عدم دسترسی رباتها به مسیرهای حساس.
- بهینهسازی منابع سرور، چون موتورهای جستجو فقط مسیرهای ضروری را crawl میکنند.
نکات سئو در تنظیم Robots.txt
برای اینکه فایل robots.txt واقعاً به بهبود سئو کمک کند، این نکات را رعایت کن:
- مسدود کردن فقط مسیرهای غیرضروری؛ از مسدود کردن پوشههایی که حاوی محتوای مهم هستند خودداری کن. اشتباه رایج مثل:
Disallow: /
یعنی کل سایت را از ایندکس خارج کردی!
- اجازه خزیدن به منابع لازم (CSS, JS)
گوگل برای درک ظاهر سایت به این فایلها نیاز دارد. مسدودشان نکن.
- افزودن مسیر Sitemap
این مورد باعث شتاب در ایندکس صفحات میشود و تجربه crawl بهتری به گوگل میدهد.
- استفاده از User-agent بهصورت هدفمند
اگر سایت بزرگی داری، میتوانی قوانین جداگانه برای هر موتور جستجو بنویسی.
- تست فایل قبل از انتشار
با ابزارهای موجود فایل رو بررسی کن.
- بهروزرسانی منظم با تغییر ساختار سایت
چون ممکن است مسیرها یا پوشههای جدید ایجاد شوند که نیاز به دستور جداگانه دارند.
نمونه کامل و بهینه برای سایت شرکتی با CMS وردپرس:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml
این ساختار به گوگل کمک میکند تمرکز خود را روی صفحات خدمات شرکت بگذارد.
نمونه کامل و بهینه برای سایت فروشگاهی با CMS وردپرس:
User-agent: *
Disallow: /wp-admin/
Disallow: */feed
Disallow: /cgi-bin
Disallow: /?
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xml
این ساختار به گوگل کمک میکند تمرکز خود را روی صفحات خدمات شرکت بگذارد.
فایل robots.txt مثل یک نگهبان هوشمند درِ ورودی سایت است! فایل robots.txt یک فایل کوچک اما بسیار مهم برای مدیریت نحوهی تعامل موتورهای جستجو با سایته.
با تنظیم درست این فایل میتونی هم امنیت و حریم خصوصی بخشهایی رو حفظ کنی و هم کمک کنی گوگل صفحههات رو بهتر ایندکس کنه.
اگر بهدرستی تنظیم شود، باعث میشود موتورهای جستجو مسیر درست را برای ایندکس انتخاب کنند و بازدیدکنندهها سریعتر به محتوای مورد نظرشان برسند.
پس حتماً:
- محل درستش را حفظ کن ✅
- مسیرهای حیاتی را باز بگذار ✅
- فایل را با ابزارهای گوگل تست کن ✅
ما در راهکار وب چه کمکی به شما میکنیم؟
واقعیت تنظیم فایل robots کار چندان سختی نیست که بخواهید برون سپاری کنید، اما اگر تمایل داشتید سایتتان را اصولی سئو کنید و بعد از مدتی در نتایج گوگل ظاهر شوید و ترافیک بگیرید راهکار وب بهترین گزینه است. به صفحه خدمات سئو سایت مراجعه کنید تا اطلاعات لازم را به دست آورید.
یک راه سادهتر هم تماس با ماست: 02188279321
