چگونه مطمئن شویم گوگل‌بات (Googlebot) به سایت ما دسترسی دارد؟

بیش از دو ماه است که حق داشتن اینترنت از مردم ایران سلب شده است و تمام تخصص‌ها و سرمایه‌گذاری‌ها روی دیجیتال مارکتینگ و مشاغل اینترنتی، عملاً در حال متوقف شدن هستند. حالا تعدادی از خبرگزاری‌ها ادعا کرده‌اند که حدود یک هفته پس از باز شدن سرچ گوگل برای کاربران ایرانی، دسترسی گوگل‌بات Googlebot به وب‌سایت‌های میزبانی شده روی هاست‌های ایرانی هم باز شده و می‌توان فرایند سئو و بهینه‌سازی وب‌سایت برای این موتور جستوجو را آغاز کرد و از کانال سرچ گوگل ورودی دریافت کرد.

براساس ادعای وزیر ارتباطات در بهمن ۱۴۰۴ تعداد افرادی که مشاغل آن‌ها به صورت مستقیم وابسته به اقتصاد دیجیتال است به ۱۰ میلیون نفر می‌رسد، حال اگر با این فرض پیش‌ برویم که این افراد هزینه‌های خانوار خود را از راه‌کارهای دیجیتال درمی‌آوردند و از طرف دیگر هر خانوار را به صورت تخمینی ۲ تا ۳ نفر در نظر بگیریم، قطعی اینترنت به صورت مستقیم روی اقتصاد، درآمد و زندگی روزمره‌ی ۲۰ تا ۳۰ میلیون نفر تاثیر گذاشته است.

همچنین بخوانید: چرا در زمان قطعی اینترنت سئو افت می‌کند؟

زندگی در دیپ‌وب خودخواسته!

در این میان، موتور جستوجو اساسی‌ترین ابزاری است که کاربران را به یک سرویس، فروشگاه اینترنتی یا وب‌سایت و اپلیکیشن ارتباط می‌دهد، موتور جستوجو آنقدر مهم است که دنیای وب را براساس آن تقسیم‌بندی می‌کنند! بر اساس این تقسیم‌بندی معمولاً آن دسته از وب‌سایت‌هایی که به صورت عمومی در دسترس هستند و می‌توان آن‌ها را از طریق موتور جستوجو پیدا کرد را «دنیای وب» می‌دانند و از طرف دیگر وب‌سایت‌هایی که به صورت عمومی دسترسی ندارند و از طریق موتور جستوجو معمولاً پیدا نمی‌شود را وب‌سایت‌های «وب تاریک» یا Dark Web می‌دانند. در این میان، وب‌سایت‌هایی از دارک وب نیز هستند که فقط در شرایطی خاص و فقط برای افرادی خاص باز می‌شوند و دیگر نمی‌توان از هر آی‌پی یا نقطه‌ای به آن‌ها دسترسی داشت، هرچند که تعریف دارک وب و دیپ وب پیچیده‌تر از این تعابیر است، اما می‌توان گفت که ما ایرانی‌ها در حقیقت با وجود محدودیت‌هایی که امروز روی اینترنتمان آن هم برای دو ماه رخ داده و اینکه به درستی به موتور جستوجوها دسترسی نداریم، عملاً شرایطی شبیه به یک دیپ‌وب اختصاصی و خودخواسته در حال زندگی هستیم.

اما بحث این مقاله این است که در هفته‌های اخیر، دسترسی کاربران عادی به موتور جست‌وجوی گوگل تا حد زیادی بازگشته است؛ اما چالش اصلی اکنون جای دیگری است: آیا خود گوگل می‌تواند سایت‌های میزبانی‌شده در داخل ایران را ببیند و ایندکس کند؟

در طول دو ماه گذشته بسیاری از کسب‌وکارهای آنلاین با افت شدید ترافیک ارگانیک مواجه شده‌اند و نگرانند که زحمات ماه‌ها و سال‌های آن‌ها برای سئوی سایت از بین رفته باشد. البته حق هم دارند، چون در هیچ جای دنیا اینکه دوماه به شکلی متوالی اینترنت کامل قطع باشد، عملاً تعریف نشده است، حتی اگر به کشورهایی مثل روسیه یا چین یا حتی کره شمالی هم نگاه کنیم، آنها پیش از اینکه اقدامی برای مسدود کردن همیشگی یک سرویس اینترنتی بکنند، ابتدا نسخه معادل و پاسخگو برای آن را طراحی می‌کنند، مثلا روسیه برای محدود کردن گوگل تلاش کرده یا یاندکس را با الگوریتم‌ها و خزنده‌های اختصاصی خودش توسعه دهد، یا چین موتور جستوجوی بایدو را توسعه داده تا بتواند پاسخگوی نیاز کاربران خود در چارچوب چیزی باشد که کاربران بتوانند به آن دسترسی داشته باشند.

همچنین بخوانید: چرا موتور جستوجوهای ایرانی، با فناوری ۳۰ سال پیش کار می‌کنند؟

اما در این شرایط کنونی ایران، اولین قدم برای بررسی شرایط سئو، مطلع شدن از وضعیت واقعی دسترسی گوگل‌بات به سایت خودتان است. هرچند که برخی خبرگزاری‌ها در هفته اول اردیبهشت ۱۴۰۵ اعلام کردند که دسترسی به خزنده‌های گوگل به هاست‌ها باز شده، اما باید این موضوع برای وب‌سایت شما باز هم بررسی شود و  نه به حرف و نه به شایعه باید دقت کرد، بلکه با تست عملی و دقیق این موضوع بررسی شود.

در نتیجه در این مقاله، سه روش ساده اما قدرتمند را یاد می‌گیرید که به شما نشان می‌دهد:

• آیا سرور شما به گوگل متصل می‌شود؟
• آیا گوگل‌بات می‌تواند صفحات سایت شما را بخواند؟

و اگر پاسخ این سوال‌ها همگی «خیر» است مشکل از کجا است و چطور می‌توان فهمید که سایت توسط گوگل خوانده می‌شود؟

واقعیت چیست؟ آیا گوگل‌بات به سایت‌های ایرانی بازگشته است؟

طی روزهای اخیر، برخی خبرگزاری‌های داخلی گزارش داده‌اند که «خزنده‌های گوگل دوباره به دیتاسنترهای ایران متصل شده‌اند» و «سایت‌های ایرانی در حال ایندکس مجدد هستند». اما تجربه میدانی آژانس خلاقیت هیوا و تست‌های متعدد روی هاست‌های مختلف نشان می‌دهد که این دسترسی هنوز پایدار، کامل و فراگیر نیست یا اگر هم چنین خبری در ۷ اردیبهشت صحت داشته، این دسترسی دوباره حذف شده یا شاید هم فقط برای چند دیتاسنتر خاص رخ داده است.

در بسیاری از سرورهای داخلی، حتی اتصال ساده به google.com  با خطای Connection refused یا Connection timed out مواجه می‌شود. این یعنی خروجی اینترنت سرور به سمت گوگل مسدود است و اگر خروجی نباشد، ورودی گوگل‌بات هم وجود نخواهد داشت. به عبارت فنی: ارتباط دوطرفه برقرار نیست.

بنابراین، قبل از هر اقدامی، وضعیت سرور خود را شخصاً تست کنید. گزارش‌های کلی را ملاک قرار ندهید.در ادامه دو روش را به شما توضیح خواهیم داد تا بدون نیاز به به اینترنت جهانی بررسی کنید که آیا اتصال ربات گوگل به هاست شما باز هست یا خیر:

روش اول: از روی هاست curl بگیرید

اگر هاست شما اجازه وارد کردن دستورهای  SSH را به شما می‌دهد، می‌توانید وارد ترمینال هاستتان شوید و با وارد کردن یک دستور ویژه متوجه شوید که دسترسی به گوگل بات وجود دارد یا خیر:

curl -A "Googlebot" -I -L https://yourdomain.com

تفسیر نتیجه:

روش دوم و دقیق‌تر تست با فایل PHP روی هاست

این روش تا حدود‌ی ساده‌تر و البته راحت‌تر است، و اگر دسترسی به SSH‌هاست خود ندارید کافی است در فایل منیجر هاستتان یک فایل php بسازید.

برای این کار کافی است یک فایل جدید با نام دلخواه، مثلاً google-test.php، در کامپیوتر خود ایجاد کنید. سپس کد زیر را در آن کپی کنید و کد زیر را درون آن قرار دهید:

<?php
echo "<h2>Server Connectivity Test: Google & Googlebot</h2>";

// Test 1: cURL connection to google.com (HTTPS)
$ch = curl_init("https://www.google.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$response = curl_exec($ch);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$error = curl_error($ch);
curl_close($ch);

if ($http_code == 200) {
    echo "✅ Connection to google.com successful (HTTP status code: 200)<br>";
} else {
    echo "❌ Connection to google.com failed. Error code: $http_code - cURL error: $error<br>";
}

// Test 2: Direct socket connection to a known Googlebot IP address (port 80)
echo "<br><h3>Testing direct access to a real Googlebot IP address:</h3>";
$googlebot_ip = "66.249.77.168"; // Verified Googlebot IP range
$fp = @fsockopen($googlebot_ip, 80, $errno, $errstr, 5);
if ($fp) {
    echo "✅ Socket connection to Googlebot IP ($googlebot_ip) on port 80 succeeded.<br>";
    fclose($fp);
} else {
    echo "❌ Socket connection to Googlebot IP ($googlebot_ip) failed: $errstr ($errno)<br>";
}

// Test 3: Simulate a Googlebot request to the same domain (loopback)
echo "<br><h3>Testing request to your own site with Googlebot User-Agent header:</h3>";
$url_your_site = "https://" . $_SERVER['HTTP_HOST'] . "/";
$ch2 = curl_init($url_your_site);
curl_setopt($ch2, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch2, CURLOPT_USERAGENT, "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)");
curl_setopt($ch2, CURLOPT_TIMEOUT, 10);
$response2 = curl_exec($ch2);
$http_code2 = curl_getinfo($ch2, CURLINFO_HTTP_CODE);
curl_close($ch2);

if ($http_code2 == 200) {
    echo "✅ Your site returns HTTP 200 OK when requested with Googlebot User-Agent (loopback).<br>";
} elseif ($http_code2 == 403 || $http_code2 == 404) {
    echo "⚠️ Your site returns HTTP $http_code2 for Googlebot. Access blocked or page not found.<br>";
} else {
    echo "❌ Unexpected HTTP status code: $http_code2 . Possible server misconfiguration.<br>";
}
?>

حال کافی است در مرورگر خود دامنه خود به همراه نام فایل را وارد کنید و خروجی آن را تست کنید، مثلاً: https://yourdomain.com/google-test.php را وارد کنید تا نتیجه را ببینید.

در این شرایط اگر نتیجه همه تست‌ها مثبت بود، سایت شما توسط بات‌های گوگل به درستی خوانده می‌شود و در غیر این صورت هنوز مشکل در خواندن سایت و افت رتبه وجود دارد.

برای مثال سایت آژانس خلاقیت هیوا هنوز در تاریخ ۹ اردیبهشت ۱۴۰۵ با توجه به تصویر زیر به گوگل بات دسترسی ندارد: