سئو وب مستر ۱۹ crawl و crawl errors

آموزش Crawl و Crawl Errors خزنده در وبمستر گوگل

خود crawl به معنی خزیدن می باشد و در سئو بیشتر به معنای خزنده در نظر گرفته می شود.
کار crawler یا همان خزنده چیست و چرا وجود دارد؟ خزنده یکی از مهم ترین وظایف موتور های جستجو مثل گوگل را دارد. خزنده رباتی است که به بررسی محتوای سایت می پردازد و در عمل کار خزش (Crawling) سایت را برعهده دارد و با این کار اصلاعاتی که برای ثبت در موتور جستجو (google) لازم می باشد را برای آن جمع آوری و با خود می برد که قسمتی از این اطلاعات مربوط به ایندکس (Indexing) یا همان ثبت صفحات در گوگل می باشد. پس همین جا کفایت می کند و متوجه اهمیت کار آن شدیم و بهترین نتجه گیری این است که سایت باید درست توسط گوگل و خرنده های آن بررسی شود.

شما به عنوان یک ادمین و وبمستر سایت با بررسی و آنالیز اعداد و ارقام مربوط به گوگل وبمستر خیلی چیزها در مورد سایتتان متوجه می شوید. یکی از این موارد و شاید دومین قسمت مهم همین بخش Crawl است که میتواند به شما در بهبود وضعیت سئو سایتتان کمک کند. حالا با هم ببینیم که اصلا  Crawl Errors چیست و چه تعریفی دارد؟

Crawl Errors چیست؟

Crawl Errors یک گزینه در اکانت وبمستر گوگل سایت شماست که وظیفه ی مهمی را بر عهده دارد.کار این بخش این است که جزئیاتی از آدرس های موجود در وب سایت شما (url)را نشان میدهد که گوگل به هر دلیلی نتوانسته به آنها دسترسی پیدا کند. چند مثال: موقعی که ربات های خزنده گوگل قصد کاوییدن و خزش و جستجوی صفحات سایت شما را داشتند اگر صفحه ای به هر دلیل در دسترس نباشد و یا با ارورهایی مثل http(مانند 404 و 503 یا 200)  روبرو شوند در این بخش نمایش داده می شوند.(ارور های سرور ، مشکلات نرم افزاری ، عدم دسترسی و یا یافت نشدن به ترتیب با نام های  Server error ، soft 404 access denid , not found از جمله این error ها می باشند). برخی مواقع نیز مشکل اینجاست که صفحاتی از سایت شما به یکدیگر پیوند و یا لینک ندارند و یا مثل مواقعی که آدرسها شکسته  و ناقص مقدار دهی میشوند یا سرور شما مشکلاتی دارد مثل قطعی های پی در پی. در واقع اینجاست که میتوان گفت Crawl Errors رخ داده است چرا که خزنده بدون پاسخ درست بر می گردد به خانه خود.
پس تلاش ما این است که در این قسمت راه هایی برای کمتر شدن این پیام های خطا بیابیم

حالا ببینیم که گوگل و رباتهایش چطور به صفحات داخلی سایت دسترسی پیدا میکنند؟

نحوهء دسترسی گوگل به صفحات داخلی سایت

همانطور که تا اینجا متوجه شدیم اگر گوگل در دسترسی و یا به اصطلاح خزیدن در صفحت داخلی شما با مشکلی روبرو شود اروری را در بخش  Crawl Errors وبمستر گوگل نشان میدهد.حالا ببینیم که اصلا گوگل از چه روشهایی به صفحات داخلی سایت ما میخزد تا بتوانیم اگر مشکلی در این زمینه وجو داشته باشد آن را برطرف کنیم.

گوگل از 2 راه به صفحات داخلی سایت شما می خزد:

1- آدرس دهی های موجود در نقشه سایت site map

2- آدرس دهی از صفحات داخلی یا سایت های بیرونی به صفحه سایت شما

اگر گوگل با هر کدام از روشهای بالا نتواند به صفحات سایت شما دسترسی پیدا کند درحالی که آدرس آن صفحات در نقشه ی سایت ثبت شده باشد, اینجاست که یک ارور جدید در بخش Crawl Errors ایجاد میشود.

نکته:اگر از سایت دیگر به یکی از صفحات سایت شما که وجود خارجی ندارد ,لینک شده باشد در  این مورد Crawl Errors رخ نخواهد داد. چرا که در این صورت ممکن بود هر کس بتواند برای سایت های رقیب خود هزاران ارورر مسئله آفرین بسازد و خزش آن سایت را با مشکل روبرو کند.

Crawl Errors شامل چه قسمت هایی است؟

قبل از اینکه ببینیم Crawl Errors چگونه از سایت شما ارور میگیره ببینیم که برای دسترسی به این گزینه باید چطور اقدام کنیم؟ ابتدا وارد اکانت وبمستر سایت خود شود و از منوی سمت چپ گزینه Crawl و پس از آن Crawl Errors را انتخاب کنید.

 

بخش های اصلی Crawl Errors
Crawl Errors از دو بخش خیلی مهم تشکیل شده است:

  • Site errors  یا خطاهای سایت

  • URL errors  یا خطاهای لینک اختصاصی

در ادامه هرقسمت را به طور جداگانه و مفصل بررسی خواهیم کرد.

Site errors  یا خطاهای سایت در Crawl Errors

در این بخش سایت شما به کلی مورد بررسی قرار میگیرد. در این قسمت است که مشکل عدم دسترسی روبات های گوگل به کل محتوای سایت شما نمود پیدا میکند. این بخش خودش شامل سه فاکتور خیلی مهم دیگر هم هست که سایت شما طی 90 روز گذشته بر اساس آنها مورد بررسی و آنالیز قرار گرفته است و حالا در این قسمت میتوانیدنتایج آن را مشاهده کنید.

•    خطاهای DNS – سیستم نام دامنه ، که نام سایت شما را برای سروری که فایلهای سایت را فراهم میکند، به آدرسی عددی (IP) تبدیل میکند.
•    خطاهای سرور – این بخش سروری که سایت شما روی آن قرار دارد را بررسی میکند.عملکرد سرور ارائه دهنده هاست شما ، مانند سرعت و قابلیت اطمینان اتصال.
•    عدم دسترسی به robots.txt –شاید بشه گفت این گزینه مهمترین بخشه چرا که گوگل پیش از اینکه بتواند سایت را crawl کند ابتدا باید به این فایل دسترسی پیدا کند. این فایل به گوگل میگوید که کدامیک از صفحات دسترسی داشته یا نداشته باشد.

URL errors  یا خطاهای لینک اختصاصی

شاید از نام این گزینه بشه فهمید که چکاری انجام میدهد.این قسمت  در مورد صفحات داخلی شما کند و کاو میکنه.در واقع عدم دسترسی روبات گوگل به یک آدرس مشخص در سایت شما را مورد بررسی قرار میدهد.که آیا دسترسی ممکنه و یا با مشکلی روبروست.

زمانی که شما سایتتان را از این نظر با استفاده از گزینهء Crawl Errors موجود در وبمستر مورد بررسی قرار میدهید و با خطاهایی از سایتتان روبرو میشوید فقط کافی است که  بر روی هر خطا کلیک کنید تا راه تا با توضیحات گوگل روبرو شوید.حالا این صفحه شامل چه مواردی است و چه مفهومی دارد را در ادامه میخوانیم.

ارورهای Crawl Errors به چه معنا هستند؟

زمانی که وارد حساب وبمستر سایت خود میشوید و طبق آموزش به بخش Crawl Errors رفتید,اگر روی هر خطایی که در لیست باز شده کلیک کنید در صفحهء ای برای شما باز میشود با موارد زیر مواجه هستید:

رفع مشکل Crawl Errors

خب حالا با هم قدم به قدم پیش میرویم تا ببینیم سایتمان چه مشکلی دارد و راه حل آن چیست.

برای رفع این مشکل یک پروسهء 7 مرحله ای را باید طی کنیم که به ترتیب زیر است:

1-این قسمت نشان دهندهء مشکلی است که روبات های گوگل در خزیدن در صغحات سایت شما با آنها برخورد کرده اند مثلا صفحه را پیدا نکرده اند که با ارور Not found یا همان ارور 404 مواجه میشوند.

2-این قسمت آدرس آن صفحه از سایتتان را که مشکل دارد و روبات گوگل نتوانسته به آن بخزد را به شما اطلاع میدهد.

3-این بخش اطلاعات تکمیلی را به شما میدهد مثل تاریخی که سایت شما توسط گوگل آنالیز شده و دیگر اجزئیات لازم…..
4-این بخش که in Sitemaps نام دارد به شما اطلاع میدهد که آیا آدرس صفحهء مشکل دار سایت شما در نقشهء سایتتان یا همان site map موجود  است یا خیر.
5-بخش Linked from میگوید که به این صفحه از سایتتان که مشکل دارد از کدام صفحات داخلی سایتتان یا سایتهای دیگر لینک و یا آدرس دهی شده است.
6-بعد از اینکه از رفع مشکلات اعلام شده اطمینان حاصل کردید از طریق این گزینه به گوگل اعلام میکنید که مشکلی وجو ندارد تا شما از لیست Crawl Errors  سایت شما  خارج کند.

7-در پایان می توانید با استفاده  از گزینه Fetch as google به گوگل یک درخواست ارسال کنید که سایتتان را مجدد مورد بازبینی و آنالیز قرار دهد.

نتیجه گیری

هر از چند گاهی به نقشهء سایتتان سری بزنید و آن را بررسی کنید. اگر آدرسی در سایتتان بوده که دیگر از آن استفاده ای ندارید و یا نیازی به آن وجود ندارد ,از نقشه سایتتان حذف کنید. بعد از اینکار در بخش سپس در بخش Crawl Errors وبمستر سایتتان دکمه Mark as Fixed را بزنید  تا اگر گوگل به اشتباه هنوز آن آدرس ها را به عنوان ارور میشناسد, دیگر آن را بررسی نکند و جلوی کار تکراری و غلط گرفته شود. با اینکار آن آدرس از لیست خطاها خارج میشود. اما به یاد داشته باشید که این کار ها را حتما بعد از اینکه مطمئن شدید آدرس از سایتتان حذف شده انجام دهید چون این مشکل دوباره خیلی زود برمیگردد و اگر با وجود رعایت تمام نکات باز هم در این قسمت اروری مشاهده کردید از گوگل بخواهید که سایت شما را مجدد ایندکس کنه!

یکی از بخش های مورد علاقه من در وب مستر همین بخشه چرا که نمایش دهنده ارتباط هسته سایت و الگوریتم های خزنده گوگل می باشد.

برای موفقیت در سئو سایت حتما مشکلات Crawl Errors را برطرف نمائید

سئو وب مستر ۱9 crawl و crawl errorsReviewed by goolexacom on Dec 2Rating: 4.5آموزش crawl و crawl errors چیستآموزش crawl و crawl errors وب مستر حرفه ای wemaster

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

اگر ربات نیستی جواب بده *

پشتیبانی سایت سئو سایت

خدمات سایت

سئو

خدمات سایت

پشتیبانی سایت سئو سایت خدمات سایت