بودجه خزش‌ و راهکارهای افزایش و مدیریت آن

Crawl Budget همان تعداد صفحاتی هستند که در یک بازه معلوم توسط خزنده‌های گوگل ایندکس میشوند.

درباره‌ی بوجه خزش چه میدانید‌؟ آیا ارتباطی بین بودجه خزش و نرخ پرش وجود دارد‌؟ بودجه خزش چگونه قادر به تغییر سئو خواهد بود؟ در این مقاله قصد دارم در خصوص بودجه خزش یا کراول باجت(Crawl Budget) برای شما عزیزان صحبت کنم. پس با تیم تولید محتوای آی مهدیار همراه باشید…

بودجه خزش (Crawl Budget) چیست‌؟

قطعا میتوان گفت کراول باجت  مهم‌ترین مفاهیم پایه در  سئو و بهینه سازی  وب سایت است که اصولا اکثر متخصصین سئو به آن توجه کافی ندارند و و قطعا با آن آشنایی ندارند و همین بی‌ توجهی و کمبود اطلاعات در این زمینه رشد سئو وب سایت را به طرز قابل توجهی به تاخیر می‌ اندازد و گاهی منجر به از بین رفتن سایت خواهد شد!

موتور جستجوی گوگل برای بررسی محتوای وب سایت شما و همه سایت های سطح وب از یک سری ربات کمک میگیرد. که اغلب این رباتها در دسته‌ی ابزار سئو قرار میگیرند و سئوکارها اسم های مختلفی به این ربات ها داده اند؛ از جمله عنکبوت های گوگل، خزنده (crawler) و … که این موارد از دسته ابزارهای کاربردی در بودجه خزش است.

کراول باجت در مفهوم ساده به میزان بودجه و سهم صفحات وب سایت شما نزد کراولرهای گوگل یا خزنده‌های گوگل برای دیده شدن و ایندکسینگ اشاره دارد، به معنای ساده تر میتوان گفت که کراول باجت از عوامل مستقیم و اثر گذار بر ایندکسینگ و بودجه سایت است. به هر میزانی که شما بتوانید از بودجه خزش‌ تان بهینه‌ تر استفاده کنید، شانس بیشتری برای دیده شدن در موتور های جستجو و کسب رتبه‌ های بهتر را خواهید داشت.

منظور از ایندکس شدن ( index ) در گوگل چیست؟

ایندکس به معنای فهرست است. در واقع فهرستی در اختیار گوگل قرار میگیرد که اطلاعات آن باید ثبت شود. وقتی مطلبی در گوگل ایندکس میشود در واقع آن مطلب در گوگل ثبت شده و اگر آن کلمه کلیدی جست و جو شود به راحتی در نتایج یافته میشود. موتور جستجو سه جز اصلی دارد: ۱. crawl یا خزیدن ۲. index یا فهرست ۳. rank یا رتبه

بطور کلی اگر مرحله اول خزیدن به درستی انجام شود در واقع زمینه سازی برای ایندکس دقیق صورت گرفته است. در مرحله خزیدن موتور جستجو اینگونه است که به هر لینک و کدی برسد آن را بررسی میکند تا برای ایندکس کردن در یافتن محتوا مشکلی پیش نیاید. اگر خزنده‌های گوگل نتوانند این کار را به درستی انجام دهند و یا مطلب شما برای خزیدن موتور جستجو مناسب نباشد مطلب شما ایندکس نمیشود.

بودجه خزش Crawl Budget در سئو چه مفهومی دارد؟

به عنوان نمونه اگر بودجه خزش سایت آی مهدیار در ماه ۱۰۰ دفعه باشد. دقیقا مثل بودجه مالی ما این بودجه خزش را با بی احتیاطی هایمان مصرف کنیم؛ پس از مقطعی به مشکل خورده و صفحاتمان دچار مشکل ایندکس میشوند! بنابراین شما به عنوان مدیر سایت یا سئوکار ۲ وظیفه در مقابل بودجه خزش دارد:

• مدیریت بودجه خزش
• افزایش بودجه خزش

چرا برای موتور های جستجو مهم است؟

چرا گوگل نیاز دارد سایت ها را ارزش گذاری کند؟ میتوان جواب این سوال را به ساده‌ترین حالت ممکن به شما دهیم و آن این است که بودجه خزش استفاده میشود برای اینکه بتواند بهترین نتایج را به کاربران خود نمایش دهد. به همین دلیل انواع الگوریتم ها و ساختار ها را پیاده سازی کرد و بر اساس آنها به هر سایت ارزشی اختصاص داد تا اولیت و اهمیت هر سایت را بتواند توسط گوگل مورد ارزیابی قرار دهد.
گوگل برای اینکه تعیین کند هر وب سایت باید چقدر مورد توجه بوده و چه میزان بودجه خزش(crawl budget) داشته باشد، به ۲ موضوع دقت میکند:

1. منابع هاست سایت ما، (منظور از هاست، محل نگهداری اطلاعات سایت است.)
2. میزان فعالیت ما در سایت و تولید محتوا. (تقاضای خزش!)

به طور خلاصه: اگر گوگل صفحه‌‌‌ای را ایندکس نکند، یعنی آن صفحه اصلا وجود ندارد!

بودجه مورد نیاز هر سایت چطور تعیین میشود؟

موتورهای جستجو، عوامل مختلفی را در نظر می‌گیرند تا بودجه خزش سایت شما را تعیین کنند. به طور کلی، شش عامل اصلی وجود دارد که گوگل برای ارزیابی بودجه خزش یک سایت از آن‌ها استفاده می‌کند:

1. اندازه سایت: سایت‌های بزرگتر به بودجه بیشتری برای خزیدن احتیاج دارند. پس هرچه سایت شما بزرگتر باشد برای خزش نیاز به بودجه بیشتری دارد
2. راه‌اندازی سرور: عملکرد و زمان بارگذاری سایت شما ممکن است در میزان بودجه اختصاص یافته به آن تاثیر بگذارد.
3. فرکانس به‌روزرسانی: هر چند وقت یکبار درحال به روزرسانی مطالب خود هستید؟ گوگل، محتوایی را که به طور منظم به روز می‎شود را در اولویت قرار می‌دهد پس در نتیجه سعی کنید محتواهایتان را همیشه به روز نگه دارید. برای مطالعه اطلاعات بیشتر درباره نحوه بروز رسانی محتوا اینجا کلیک کنید.
4. لینک‌ها: ساختار لینک‌های داخلی و لینک‌های مرده (dead link). اما توجه خود را هیچ وقت از بک لینک‌ها غافل نکنید. بک لینک‌های ایجاد شده از مهمترین بخش‌های مهم یک سایت هستند که اعتبار را تعیین میکنند.
5. منابع هاست: وقتی یک خزنده از سایت شما بازدید میکند درخواستی را به سرور هاست ارسال میکند. اگر هاست سایت شما اصولی طراحی نشده باشد و یا قوی نباشد با ارسال درخواست مکرر از سوی کراولر سایتتتان از دسترس خارج میشود یا به عبارتی سایتتان down میشود. شما متیوانید با بررسی تعداد دفعات ایجاد مشکل در هاست توسط خزنده و بررسی تعداد سایت‌های مستقر بر روی سرور اصلی ظرفیت هاستتان را متوجه شوید.
6. میزان فعالیت در سایت: گوگل از فعالیت یک سایت تعیین میکند که آن وب‌سایت باید چه بودجه خزشی را دریافت کند. در واقع میزان فعالیت شما ارتباط مستقیمی با درخواست برای خزش سایتتان دارد.

استفاده از این دو فاکتور Crawl Limit و Crawl Demand از مهمترین نیاز های هر سایتی است، که گوگل آن را بررسی میکند.

Crawl limit / host load

همانطور که میدانید هر بار که گوگل یک صفحه را کراول میکند، یک درخواست به سرور شما ارسال میکند که مضمون آن این است که میخواهد به منابع سایت شما دسترسی پیدا کند.

اما اگر این درخواست ها بیش از حد از طرف ربات های گوگل ارسال شود، منابع سرور سایت نمیتوانند به همه این درخواست ها پاسخ دهند و در نتیجه سایت از کار می‌افتد (یا به اصطلاح down میشود). گوگل از کجا میفهمد ظرفیت خزش سایت ما چقدر است؟ به ۲ طریق:

1. نشانه های باگ سرور: درخواست های ربات های گوگل مبنی بر خزش چند بار توسط سرور با مشکل روبرو شده اند که این باگ اکثرا اتفاق میافتد.
2. تعداد سایت های فعال در هاست: اگر سایت شما در حال اجرا بر روی یکی از هاست های اشتراکی است و صدها سایت دیگر فعال در این هاست وجود دارند و سایت شما از نظر محتوا و صفحات بزرگ است، در این صورت نرخ کراول شما محدودیت زیادی خواهد داشت.

در مورد نکته اول نیاز به توضیحات نیست اما نکته دوم: شرکت های هاستینگ برای فروش هاست، یک سرور بزرگ را به کمک نرم افزارهای مخصوص به قسمت های کوچک تر (هاست) تقسیم کرده و در اختیار مشتریان قرار میدهند. در این بین هر چه تعداد سایت های روی سرور اصلی بیشتر باشد؛ هاست ها منابع کمتری دارند.

بنابراین گوگل برای اینکه از مقدار منابع هاست شما مطمئن شود، تعداد کل هاست هایی که روی سرورتان هستند را هم بررسی میکند.
اگر شما در این بازه قرار دارید و از نظر اقتصادی نیز برای شما توجیه داشت، می‌توانید از هاست های اختصاصی استفاده کنید تا هم سرعت لود صفحات و هم نرخ نزش شما بهبود داده شود.

Crawl demand / crawl scheduling

این ارزش بر اساس فاکتورهای زیر اندازه گیری میشود:

1. محبوبیت صفحه: چه تعداد لینک داخلی و خارجی با کیفیت به این صفحه داده شده و در چه تعداد عبارت کلیدی جایگاه دارد؟
2. تازگی محتوا: محتوای صفحه چند وقت یک بار به‌روزرسانی میشود.
3. نوع صفحه: برای مثال صفحه دسته بندی را با صفحه شرایط و ضوابط مقایسه کنید. احتمال تغییر محتوا در کدام یک بیشتر مشهود است.

خب، تا اینجا با همه چیز در مورد بودجه ‌خزش یا “کراول ‌باجت” (crawl budget) آشنا شدید. بهتر است در ادامه مقاله به سراغ نکات جزئی و مهمی برویم که باید در سایت رعایت کنید. البته پیشنهاد میکنم قبل از آن، جواب یک سوال مهم را بررسی کنیم:

چرا باید به crawl budget اهمیت بدهیم؟

شاید برای شما هم پیش آمده باشد که بخشی از محتوای سایت خود را به‌روزرسانی میکنید ولی بعد از اینکه آن را منتشر کردید، گوگل چند هفته بعد این تغییر را کراول و ایندکس کرده! شما‌‌‌ می‌خواهید موتورهای جستجو تعداد زیادی از صفحات قابل ایندکس شدن سایت‌تان را پیدا و درک کنند و‌‌‌ ایده‌آل‌تان هم این است که همه این کارها در اسرع وقت و کوتاه‎ترین زمان ممکن انجام شود.

علاوه بر مشکل دیر ایندکس شدن محتوا زمان عدم بهینه بودن استفاده از بودجه‌ی خزش، امکان کپی کردن محتوای سایت شما نزد رقبا نیز افزایش پیدا خواهد کرد، وقتی که شما به شیوه صحیح از بودجه خزشتان بهره نبرید رقبا پیش از ایندکس محتوای وب سایت‌ تان در گوگل آن را کپی کرده و به همین سادگی تمامی زحمات شما برای تولید محتوا نیز از بین خواهد رفت.در ادامه به اهمیت بودجه خزش بیشتر اشاره خواهیم کرد:

۱. دریافت ترافیک

وقتی بودجه خزش سایت بالا باشد سرعت ایندکس محتوای منتشر شده خیلی بیشتر میشود. ایندکس سریع میتواند بازدید کننده بالایی را برای سایتتان جذب کند. پس در رنکینگ یا رتبه‌بندی نتایج هم میتوانید جایگاه برتر را بگیرید و همه و همه اینها دست به دست هم داده و منجر به افزایش ترافیک برای وب‌سایتتان میشود که این همان افزایش ورودی محسوب میشود.

۲. دزدی محتوا

اگر خزش سایتتان کم باشد ایندکس با سرعت کمتری صورت میگیرد. اینگونه در فاصله انتشار تا ایندکس سایت‌هایی که کراول باجت بیشتری دارند محتوای شما را کپی میکنند در نتیجه محتوای کپی شده توسط سایتی که خزش زیادی دارد سریعتر ایندکس میشود و بعد از ایندکس شدن محتوای شما متاسفانه مطلب شما کپی اعلام میشود. پس برای جلوگیری از این موضوع و جلوگیری از دزدی محتوا تمرکز خود را به افزایش خزش سایتتان بگذارید.

دلایلی که موجب هدر رفتن کراول باجت سایت می‌شوند

بهینه سازی بودجه‌ی خزش یعنی این که مطمئن شوید هیچ کراول باجتی به هدر‌‌‌ نمی‌رود. کارشناسان، بودجه کراول سایت‌های مختلفی را بررسی کرده و به این نتیجه رسیده‌اند که اغلب این سایت‌ها درگیر مشکلات مشابهی هستند.

1. جلوگیری از ایندکس صفحات پارامتری : سعی کنید این فیلتر‌‌های پارامتری را از دسترس موتور جستجو خارج کنید. برای این کار میتوانید از robots.txt استفاده کنید. صفحات پارامتری بسیار برای کاربران کارآمد است ولی مورد پسند موتور جستجو واقع نمیشود. و اگر خواستید به صفحات پارامتری لینک دهید متیوانید از لینک‌های nofollow استفاده کنید.
2. حذف صفحات کپی: صفحات کپی یا محتوای تکراری مورد پسند موتور جستجو نیست. بهتر است این مطلب حذف یا کم شوند.
3. حذف صفحات زامبی
4. جلوگیری از سردرگم شدن ربات های خزنده
5. محتوای بی کیفیت
6. لینک های شکسته یا ریدایرکت شده: منظور از لینک شکسته لینکهایی هستند که به صفحاتی داده شده‌اند که دیگر وجود ندارند. شما با حذف این لینک‌ها میتوانید در بازدید سایت خود هم با یک تیر دو نشان بزنید.
7. URL‌‌های اشتباه در سایت مپ سایت

چطور نرخ ‌خزش سایت ام رو زیاد کنم؟

• لینک سازی خارجی
• افزایش سرعت سایت
• رفع ایرادات محتوایی و ساختاری
• ساخت سایت مپ
• استفاده از لینک های داخلی
• خرید سرور اختصاصی
• تولید محتوای منظم

سوالات متداول:

جمع‌بندی

کراول باجت به میزان سهم وب سایت شما برای دیده شدن توسط خزنده‌ های گوگل جهت ایندکس و وارد شدن به فرایند رتبه بندی در موتور های جستجو اشاره دارد، اگر خواهان رسیدن به بهترین نتایج در موتور های جستجو هستید باید به نرخ کراول باجت وب سایت‌ تان توجه ویژه داشته باشید!

اگر به دنبال مقالات و مطالب بیشتر هستید از وبلاگ آی مهدیار و برای کسب اطلاعات بیشتر و استفاده از خدمات دیجیتال مارکتینگ از وبسایت آی مهدیار دیدن کنید‌.