۷ علت ایندکس نشدن سایت در گوگل – سرور – هاست – دامنه

آیا تاکنون برایتان پیش آمده که در خصوص ایندکس کردن وب سایت خود با مشکل مواجه شوید؟ تاکنون از خودتان پرسیده اید که چرا گوگل سایت رو ایندکس نمیکند؟ به نظرتان دلیل عدم نمایش سایت در سرچ گوگل چیست؟ در هنگام بروز چنین اتفاقی چه کار می کنید؟ احتمالا بهترین راه حل این است که به حساب سرچ کنسول خود مراجعه کرده و با مطالعه گزارش های مربوطه، در جستجوی علت ایندکس نشدن سایت در گوگل باشید. اما اگر تاکنون به بخش coverage سرچ کنسول خود مراجعه نکرده اید، ممکن است با مشاهده ارورهای قرار گرفته در این قسمت شوکه شوید. اگر چنین شد اصلا نگران نباشید. چرا که ما قصد داریم در این مقاله از پایگاه دانش مجموعه ما به بررسی علت ایندکس نشدن سایت در گوگل و روش مناسب برای رفع ارورهای آن بپردازیم. گزارش های وضعیت ایندکس را به کمک آموزش زیر تحلیل کنید. 🙂

آموزش بخش coverage سرچ کنسول جدید گوگل

موضوعاتی که در این مقاله به آنها پرداخت خواهند شد:

دلیل عدم نمایش سایت در سرچ گوگل چیست؟

بخش ارورهای ایندکس سرچ کنسول با نام coverage در پیشخوان این ابزار قرار گرفته است. در این بخش ارورهای وب سایت به صورت کلی به نمایش گذاشته می شوند. error هایی که در گزارش coverage می توانید مشاهده نمایید در واقع ارورهایی هستند که روی عملکرد وب سایتتان به صورت کلی تاثیر می گذارند. در بخش coverage سرچ کنسول گوگل می توانید موارد مربوط به 90 روز گذشته که باعث ایندکس نشدن سایت می شوند را به صورت کامل بررسی نمایید.

بهتر است که هر روز به سرچ کنسول خود مراجعه کرده و به بررسی ارورهای موجود در گزارش coverage بپردازید. در ادامه نیز اقدام به رفع آنها نمایید. ممکن است در ابتدا همه چیز خوب به نظر برسد و برایتان یکنواخت باشد. اما این کار باعث می شود که ارورهای مهم و تاثیرگذار وب سایت خود را خیلی سریع پیدا کرده و درصدد حل آن ها برآیید. اگر فرصت بررسی روزانه سرچ کنسول خود را ندارید نیز می توانید در کمتر از 90 روز برای این کار اقدام کنید. بدین ترتیب قبل از از دست رفتن اطلاعات 90 روز پیشین؛ می توان به رفع ارورهای حاضر اقدام کرد.

همانطور که پیش تر گفته شد دسته بندی ارورهای موجود در بخش coverage سرچ کنسول گوگل مشخص هستند. در ادامه به معرفی و نحوه رفع هر یک از آنها خواهیم پرداخت.

1. ایندکس نشدن سایت به دلیل خطاهای سایت

ارورهایی که در این دسته قرار می گیرند تمام وب سایتتان را تحت تاثیر قرار می دهند. به همین دلیل از خطاهای سایت به عنوان خطاهایی با اهمیت بالا یاد می شود. در ادامه انواع خطاهایی که می توانند عملکرد کل سایت را تحت تاثیر قرار دهند را به شما معرفی خواهیم نمود.

خطای DNS

ارورهای DNS برای مدیریت یک وب سایت از اهمیت بسیار زیادی برخوردارند و می توانند روی ایندکس نشدن سایت در گوگل نقش مهمی را ایفا کند. DNS مخفف عبارت Domain Name System به معنای سیستم نام دامنه است. خطاهای dns اولین و مهم ترین خطایی هستند که می توان به آن ها اشاره نمود.

داشتن مشکل dns به این معنا است که ربات گوگل به دلیل dns timeout یا مشکل dns lookup نمی تواند به دامنه شما متصل شود. همه دامنه ها به طور قطع توسط یک شرکت ارائه دهنده خدمات هاستیگ میزبانی می شوند. اگر با چنین مشکلی مواجه شدید، باید سریعا برای رفع آن اقدام کنید. چرا که در واقع اولین مرحله دسترسی ربات های گوگل به وب سایتتان همین مرحله است.

رفع خطای dns

به منظور رفع خطای dns که نتیجه آن ایندکس نشدن سایت است، باید به تریتب زیر پیش بروید:

1. در گام اول بهتر است از ابزار URL inspection سرچ کنسول گوگل استفاده نمایید تا متوجه شوید ربات گوگل به چه شکلی صفحه مربوط به URL مورد نظر را crawl می کند.
   آموزش ابزار URL inspection گوگل سرچ کنسول  آموزش های dns
2. اگر گوگل نمی تواند صفحه مورد نظر را به درستی fetch کند، نیاز است که اقدامات بیشتری را داشت باشید. در این حالت می توانید به تنظیمات dns خود مراجعه کرده و مشکل را مورد بررسی قرار دهید.
3. بررسی کنید که آیا  که سرور میزبانتان ارور 404 یا 500 را نمایش می دهد یا خیر. در این حالت سرورتان به جای نمایش failed connection باید ارور 404 (not found) یا ارور 500 (server error) را نشان دهد. این ارورها در مقایسه با خطای dns دقیق تر است.

خطاهای سرور (server errors)

یکی دیگر از دلایل ایندکس نشدن سایت خطای سرور است. این خطا اغلب به این معنا است که زمان پاسخگویی سرور بیش از اندازه طولانی می شود. به همین دلیل با خطای سرور رو به رو می شوید. ربات های گوگل در هنگام خزیدن در وب سایت می توانند تنها یک بازه زمانی مشخص را برای بارگذاری سایت صبر کنند. اگر زمان بارگذاری بیش از اندازه طولانی شود، ربات گوگل دست از تلاش برای crawl کردن وب سایتتان برمی دارد.

خطاهای سرور با خطاهای dns تفاوت دارد. خطای dns به این معنا است که ربات های گوگل به دلیل مشکلات موجود حتی امکان پیدا کردن URL شما را نیز ندارد. در حالی که در خطاهای سرور، ربات های گوگل می توانند به یک وب سایت متصل شوند اما به دلیل وجود مشکلات نمی توانند صفحه را بارگذاری کنند. یکی از دلایل بروز خطای سرور ورود ترافیک بیش از اندازه به وب سایتتان است. برای جلوگیری از وقوع چنین اتفاقی باید اطمینان حاصل کنید که سرویس ارائه دهنده میزبانی وب شما می تواند در هنگام ورود ترافیک بالا، آنها را مدیریت نماید.

رفع خطای سرور

در هنگام بروز چنین اتفاقی در وب سایت خود باید از ابزار URL inspection استفاد کنید تا متوجه شوید که ربات های گوگل می توانند وب سایتتان را crawl کنند یا نه. اگر گوگل سرچ کنسول توانست بدون هیچ مشکلی صفحه اصلی وب سایت را پیدا کند، می توانید اطمینان پیدا کنید که گوگل امکان دسترسی به سایتتان را دارد. در غیر این صورت علت ایندکس شدن سایت خطای سرور است.

خرابی robots

در این حالت ربات گوگل نمی تواند فایل robots.txt را بازیابی کند و این امر منجر به ایندکس نشدن سایت می شود. شاید برایتان جالب باشد که بدانید تنها زمانی استفاده از فایل robots.txt ضرورت پیدا می کند که قصد داشته باشید دسترسی گوگل به برخی از صفحات خود را محدود کنید. اگر قصد دارید موتورهای جستجو تمامی اطلاعات موجود در وب سایتتان را ایندکس کند، نیازی به فایل robots.txt ندارید.

آموزش ساخت فایل robots.txt برای وردپرس و بهینه سازی آن

رفع خطای robots

اطمینان حاصل کنید که فایل robots.txt به شکل درستی پیکربندی شده باشد. بررسی کنید که در این فایل دسترسی گوگل به کدام یک از صفحات را محدود کرده اید. تمامی خطوط /:Diwallow نوشته شده در فایل robots.txt خود را بررسی نمود و اطمینان حاصل کنید که دسترسی همه لینک های تعیین شده به خواست خودتان محدود شده است.

2. ایندکس نشدن سایت به دلیل خطاهای URL

خطاهایی که در این دسته قرار می گیرند با خطاهای سایت تفاوت دارند. چرا که این خطاها تنها یک صفحه مشخص وب سایت را تحت تاثیر قرار می دهند و همانند ارورهای سایت به تمام وب سایت کاری ندارند. بسیاری از سایت ها ممکن است با حجم بسیار بالایی از ارورهای URL رو به رو شوند و همین امر باعث نگرانی آنها شود. اما خبر خوب این است که می توان با استفاده از بخش coverage سرچ کنسول جدید گوگل  ارورهای این بخش را به صورت دسته بندی شده مشاهده و اقدام به رفع آنها نمایید. بعد از رفع آن نیز می توان با استفاده از اعتبارسنجی آن در خصوص رفع این ارورها اطمینان حاصل کنید.

خطای 404

این ارور در واقع یکی از گیج کننده ترین خطاهایی است که در بحث crawl و ایندکس نشدن سایت وجود دارد. زمانی که ربات های گوگل تلاش می کنند تا صفحه ای که آدرس آن دیگر معتبر نیست را crawl کنند، با ارور 404 مواجه می شوند. حال با توجه به اینکه یک عامل نرم افزاری سبب این اتفاق شده است یا اینکه صفحه مورد نظر دیگر وجود ندارد، می توان این ارور را به دو دسته soft و hard تقسیم کرد.

خطای 404 hard

این خطا یکی از پیچیده ترین و در عین حال ساده ترین اروری است که می توان با آن رو به رو شد. خطای 404 زمانی اهمیت خود را بیشتر نشان می دهد که برای صفحات مهم وب سایت به نمایش گذاشته شود. این خطا زمانی خود را نشان می دهد که صفحه مورد نظر دیگر وجود خارجی نداشته باشد. در نتیجه زمانی که کاربر یا ربات های گوگل وارد آن صفحه می شوند با این ارور مواجه می شوند.

رفع خطای hard 404

به منظور رفع این خطا باید به طریق زیر عمل کنید:

1. در گام اول باید اطمینان حاصل کنید که صفحه مورد نظر را از طریق سیستم مدیریت محتوا منتشر کرده اید. محتوا نباید از این قسمت حذف شده باشد همچنین بررسی کنید در حالت پیشنویس قرار نگرفته باشد.
2. سپس لازم است که مطمئن شوید که URL مربوطه صحیح است و مشکلی ندارد.
3. در گام بعد باید بررسی کنید که این ارور در حالت www نشان داده می شود یا اینکه زمانی که بدون www جستجو می شود، مشاهده می شود. همچنین این موضوع را برای نسخه https یا نسخه http لینک مورد نظر نیز امتحان نمایید.
4. اگر می خواهید صفحه به صورت ریدایرکت نشان داده شود باید اطمینان حاصل کنید که لینک مورد نظر به یک صفحه مرتبط مناسب ریدایرکت 301 داده می شود.

در ساده ترین حالت باید گفت که اگر صفحه مرده است، باید دوباره آن را زنده کنید. اگر هم نمی خواهید جان دوباره ای به آن صفحه بدهید، پس لازم است که آن را روی یک صفحه مناسب دیگر redirect کنید.

خطای soft 404

خطای soft 404 زمانی رخ می دهد که اعتبار آدرس یک صفحه به خاطر عاملی نرم افزاری اعتبار خود را از دست بدهد. این عامل می تواند رول هایی که در htaccess تعریف شده اند، افزونه ها یا هر مورد مشابه دیگر باشد. زمانی که یک کاربر با پیغام 404 رو به رو می شود، متوجه این نکته خواهد شد که آن صفحه دیگر وجود ندارد. اما در خطای soft 404 ماجرا کمی متفاوت است.

رفع خطای soft 404

به منظور رفع مشکل مربوط به صفحاتی که دیگر وجود ندارند، باید موضوعات زیر را در نظر داشته باشید:

اگر صفحات شما زنده هستند اما خطای 404 را نشان داده می شود، باید اقدامات زیر را داشته باشید:

در صورت تمایل به کسب آموزش redirect می توانید مقاله آموزش ریدایرکت صفحات رسانه وردپرس به پست اصلی را مطالعه نمایید.

شناخت و درک خطای soft 404 کمی دشوار است. چرا که صفحات دارای این خطا به نوعی میان یک صفحه عادی بودن و یک صفحه با خطای 404 گیر افتاده اند. به همین دلیل باید اطمینان حاصل کنید که صفحات مهم و اصلی سایت شما خطای soft 404 را نشان نمی دهند.

خطای Access denied

زمانی با خطای دسترسی رد شد رو به رو می شوید که ربات گوگل به دلیل نداشتن مجوز دسترسی نتواند صفحه وب سایتتان را crawl کند. دلایلی که سبب بروز این خطا می شوند، عبارتند از:

مطمئنا زمانی که دسترسی ربات های گوگل به وب سایتتان محدود شده باشد، در زمینه ایندکس شدن محتوا دچار مشکل خواهید شد. به همین دلیل بررسی این موضوع و حل آن امری مهم است.

رفع خطای Access denied

به منظور رفع خطای access denied برای از بین بردن مشکل ایندکس نشدن سایت باید تمامی عواملی که دسترسی googlebot را محدود کرده اند، حذف نمایید. این عوامل عبارتند از:

مشکلات مربوط به access denied می تواند روی رتبه سایت شما تاثیر بگذارد. به همین دلیل بررسی ارورهای مربوط به مجوز دسترسی از اهمیت بسیار بالایی برخوردار است.

خطای Not followed

نباید این خطا را با ارور «nofollow» در بحث لینک دهی اشتباه بگیرید. مورد «not followed» در واقع به این معنا است که گوگل نمی تواند یک URL مشخص را دنبال کند. بیشتر اوقات این خطا به این دلیل پیش می آید که گوگل هنوز با خواندن محتوای Flash، کدهای Javascript و مقوله ریدایرکت شدن مشکل دارد. به همین دلیل اگر صفحات اصلی دچار مشکل not followed شده اند، باید برای رفع آن ها اقدام نمایید.

رفع خطای Not followed

گوگل ویژگی هایی را که موتورهای جستجو در هنگام crawling با آنها مشکل دارند را مشخص نموده است. این ویژگی ها عبارتند از:

اگر صفحه ای که با مشکل مواجه شده است یکی از ویژگی های بالا را دارد، پس دلیل خطای موجود را پیدا کرده اید. زمانی که محتوا و لینک های قرار گرفته در یک صفحه قابل دیدن نباشد، ربات های گوگل نیز نمی توانند آن صفحه را crawl کرده و همین امر سبب ایندکس نشدن سایت می شود. پس در خصوص حذف عامل مربوطه اقدام نمایید. مورد دیگری که به عنوان عامل خطای not followed به آن اشاره شد ریدایرکت شدن صفحه بود. در این خصوص باید کارهای زیر را انجام دهید:

• زنجیرهای ریدایرکت را بررسی کنید. اگر این زنجیر دارای هاپ یا جهش زیادی باشد، گوگل آن ها را دنبال نمی کند.
• در صورتی که فرصت کافی داشتید، به جای استفاده از redirect سعی کنید معماری وب سایت خود را بروز رسانی کنید.
• URL های ریدایرکت شده خود را در نقشه سایت قرار ندهید. در سایت مپ تنها باید URL نهایی قرار گرفته باشد.

خطاهای dns و server

در زیر مجموعه خطاهای URL می توان خطاهای dns و سرور را نیز دوباره در نظر گرفت. البته روش حل و مدیریت این دسته از ارورها برای یک URL مشخص با تمام یک وب سایت یکی است. به همین دلیل روش رفع این خطاها که باعث ایندکس نشدن سایت می شوند را در قسمت جداگانه ای توضیح نمی دهیم. اما تفاوت هایی که در این زمینه وجود دارد که باید آنها را در نظر گرفت. اگر شما یک پیکربندی مجزا برای URL های خاص دامنه خود دارید باید آنها را در دسته خطاهای URL قرار دهید.

در این مقاله از پایگاه دانش مجموعه ما تلاش بر این بوده است که اطلاعات جامعی درباره انواع ارورهایی که می توانند علت ایندکس نشدن سایت در گوگل باشند را به شما معرفی نماییم. همچنین روش رفع هر یک از این خطاها نیز به شما آموزش داده شد. امید است که اطلاعات قرار گرفته در این مقاله برای شما مفید واقع شده باشد.

آموزش کامل کار با گوگل سرچ کنسول