بودجه خزش‌ و راهکارهای افزایش و مدیریت آن

درباره‌ی بوجه خزش چه میدانید‌؟ آیا ارتباطی بین بودجه خزش و نرخ پرش وجود دارد‌؟ بودجه خزش چگونه قادر به تغییر سئو خواهد بود؟ در این مقاله قصد دارم در خصوص بودجه خزش یا کراول باجت(Crawl Budget) برای شما عزیزان صحبت کنم. پس با تیم تولید محتوای آی مهدیار همراه باشید…

بودجه خزش چیست‌؟

قطعا میتوان گفت کراول باجت  مهم‌ترین مفاهیم پایه در  سئو و بهینه سازی  وب سایت است که اصولا اکثر متخصصین سئو به آن توجه کافی ندارند و و قطعا با آن آشنایی ندارند و همین بی‌ توجهی و کنبود اطلاعات در این زمینه رشد سئو وب سایت را به طرز قابل توجهی به تاخیر می‌ اندازد و گاهی منجر به از بین رفتن سایت خواهد شد!
موتور جستجوی گوگل برای بررسی محتوای وب سایت شما و همه سایت های سطح وب از یک سری ربات کمک میگیرد. که اغلب این رباتها در دسته‌ی ابزار سئو قرار میگیرند و سئوکارها اسم های مختلفی به این ربات ها داده اند؛ از جمله عنکبوت های گوگل، خزنده (crawler) و … که این موارد از دسته ابزارهای کاربردی در بودجه خزش است.

کراول باجت در مفهوم ساده به میزان بودجه و سهم صفحات وب سایت شما نزد کراولرهای گوگل برای دیده شدن و ایندکسینگ اشاره دارد، به معنای ساده تر میتوان گفت که کراول باجت از عوامل مستقیم و اثر گذار بر ایندکسینگ و بودجه سایت است. به هر میزانی که شما بتوانید از بودجه خزش‌ تان بهینه‌ تر استفاده کنید، شانس بیشتری برای دیده شدن در موتور های جستجو و کسب رتبه‌ های بهتر را خواهید داشت.

بودجه خزش Crawl Budget در سئو چه مفهومی دارد؟

به عنوان نمونه اگر بودجه خزش سایت آی مهدیار در ماه 100 دفعه باشد. دقیقا مثل بودجه مالی ما این بودجه خزش را با بی احتیاطی هایمان مصرف کنیم؛ پس از مقطعی به مشکل خورده و صفحاتمان دچار مشکل ایندکس میشوند! بنابراین شما به عنوان مدیر سایت یا سئوکار 2 وظیفه در مقابل بودجه خزش دارد:

• مدیریت بودجه خزش
• افزایش بودجه خزش

چرا برای موتور های جستجو مهم است؟

چرا گوگل نیاز دارد سایت ها را ارزش گذاری کند؟ میتوان جواب این سوال را به ساده‌ترین حالت ممکن به شما دهیم و آن این است که بودجه خزش استفاده میشود برای اینکه بتواند بهترین نتایج را به کاربران خود نمایش دهد. به همین دلیل انواع الگوریتم ها و ساختار ها را پیاده سازی کرد و بر اساس آنها به هر سایت ارزشی اختصاص داد تا اولیت و اهمیت هر سایت را بتواند توسط گوگل مورد ارزیابی قرار دهد.
گوگل برای اینکه تعیین کند هر وب سایت باید چقدر مورد توجه بوده و چه میزان بودجه خزش(crawl budget) داشته باشد، به 2 موضوع دقت میکند:

1. منابع هاست سایت ما، (منظور از هاست، محل نگهداری اطلاعات سایت است.)
2. میزان فعالیت ما در سایت و تولید محتوا. (تقاضای خزش!)

به طور خلاصه: اگر گوگل صفحه‌‌‌ای را ایندکس نکند، یعنی آن صفحه اصلا وجود ندارد!

بودجه مورد نیاز هر سایت چطور تعیین میشود؟

موتورهای جستجو، عوامل مختلفی را در نظر می‌گیرند تا بودجه خزش سایت شما را تعیین کنند. به طور کلی، چهار عامل اصلی وجود دارد که گوگل برای ارزیابی بودجه خزش یک سایت از آن‌ها استفاده می‌کند:

1. اندازه سایت: سایت‌های بزرگتر به بودجه بیشتری برای خزیدن احتیاج دارند. پس هرچه سایت شما بزرگتر باشد برای خزش نیاز به بودجه بیشتری دارد
2. راه‌اندازی سرور: عملکرد و زمان بارگذاری سایت شما ممکن است در میزان بودجه اختصاص یافته به آن تاثیر بگذارد.
3. فرکانس به‌روزرسانی: هر چند وقت یکبار درحال به روزرسانی مطالب خود هستید؟ گوگل، محتوایی را که به طور منظم به روز می‎شود را در اولویت قرار می‌دهد پس در نتیجه سعی کنید محتواهایتان را همیشه به روز نگه دارید. برای مطالعه اطلاعات بیشتر درباره نحوه بروز رسانی محتوا اینجا کلیک کنید.
4. لینک‌ها: ساختار لینک‌های داخلی و لینک‌های مرده (dead link). اما توجه خود را هیچ وقت از بک لینک‌ها غافل نکنید. بک لینک‌های ایجاد شده از مهمترین بخش‌های مهم یک سایت هستند که اعتبار را تعیین میکنند.

استفاده از این دو فاکتور Crawl Limit و Crawl Demand از مهمترین نیاز های هر سایتی است، که گوگل آن را بررسی میکند.

Crawl limit / host load

همانطور که میدانید هر بار که گوگل یک صفحه را کراول میکند، یک درخواست به سرور شما ارسال میکند که مضمون آن این است که میخواهد به منابع سایت شما دسترسی پیدا کند.

اما اگر این درخواست ها بیش از حد از طرف ربات های گوگل ارسال شود، منابع سرور سایت نمیتوانند به همه این درخواست ها پاسخ دهند و در نتیجه سایت از کار می‌افتد (یا به اصطلاح down میشود). گوگل از کجا میفهمد ظرفیت خزش سایت ما چقدر است؟ به 2 طریق:

1. نشانه های باگ سرور: درخواست های ربات های گوگل مبنی بر خزش چند بار توسط سرور با مشکل روبرو شده اند که این باگ اکثرا اتفاق میافتد.
2. تعداد سایت های فعال در هاست: اگر سایت شما در حال اجرا بر روی یکی از هاست های اشتراکی است و صدها سایت دیگر فعال در این هاست وجود دارند و سایت شما از نظر محتوا و صفحات بزرگ است، در این صورت نرخ کراول شما محدودیت زیادی خواهد داشت.

در مورد نکته اول نیاز به توضیحات نیست اما نکته دوم: شرکت های هاستینگ برای فروش هاست، یک سرور بزرگ را به کمک نرم افزارهای مخصوص به قسمت های کوچک تر (هاست) تقسیم کرده و در اختیار مشتریان قرار میدهند. در این بین هر چه تعداد سایت های روی سرور اصلی بیشتر باشد؛ هاست ها منابع کمتری دارند.

بنابراین گوگل برای اینکه از مقدار منابع هاست شما مطمئن شود، تعداد کل هاست هایی که روی سرورتان هستند را هم بررسی میکند.
اگر شما در این بازه قرار دارید و از نظر اقتصادی نیز برای شما توجیه داشت، می‌توانید از هاست های اختصاصی استفاده کنید تا هم سرعت لود صفحات و هم نرخ نزش شما بهبود داده شود.

Crawl demand / crawl scheduling

این ارزش بر اساس فاکتورهای زیر اندازه گیری میشود:

1. محبوبیت صفحه: چه تعداد لینک داخلی و خارجی با کیفیت به این صفحه داده شده و در چه تعداد عبارت کلیدی جایگاه دارد؟
2. تازگی محتوا: محتوای صفحه چند وقت یک بار به‌روزرسانی میشود.
3. نوع صفحه: برای مثال صفحه دسته بندی را با صفحه شرایط و ضوابط مقایسه کنید. احتمال تغییر محتوا در کدام یک بیشتر مشهود است.

خب، تا اینجا با همه چیز در مورد بودجه ‌خزش یا “کراول ‌باجت” (crawl budget) آشنا شدید. بهتر است در ادامه مقاله به سراغ نکات جزئی و مهمی برویم که باید در سایت رعایت کنید. البته پیشنهاد میکنم قبل از آن، جواب یک سوال مهم را بررسی کنیم:

چرا باید به crawl budget اهمیت بدهیم؟

شاید برای شما هم پیش آمده باشد که بخشی از محتوای سایت خود را به‌روزرسانی میکنید ولی بعد از اینکه آن را منتشر کردید، گوگل چند هفته بعد این تغییر را کراول و ایندکس کرده! شما‌‌‌ می‌خواهید موتورهای جستجو تعداد زیادی از صفحات قابل ایندکس شدن سایت‌تان را پیدا و درک کنند و‌‌‌ ایده‌آل‌تان هم این است که همه این کارها در اسرع وقت و کوتاه‎ترین زمان ممکن انجام شود.

علاوه بر مشکل دیر ایندکس شدن محتوا زمان عدم بهینه بودن استفاده از بودجه‌ی خزش، امکان کپی کردن محتوای سایت شما نزد رقبا نیز افزایش پیدا خواهد کرد، وقتی که شما به شیوه صحیح از بودجه خزشتان بهره نبرید رقبا پیش از ایندکس محتوای وب سایت‌ تان در گوگل آن را کپی کرده و به همین سادگی تمامی زحمات شما برای تولید محتوا نیز از بین خواهد رفت.

دلایلی که موجب هدر رفتن کراول باجت سایت می‌شوند

بهینه سازی بودجه‌ی خزش یعنی این که مطمئن شوید هیچ کراول باجتی به هدر‌‌‌ نمی‌رود. کارشناسان، بودجه کراول سایت‌های مختلفی را بررسی کرده و به این نتیجه رسیده‌اند که اغلب این سایت‌ها درگیر مشکلات مشابهی هستند.

1. جلوگیری از ایندکس صفحات پارامتری
2. حذف صفحات کپی
3. حذف صفحات زامبی
4. جلوگیری از سردرگم شدن ربات های خزنده
5. محتوای بی کیفیت
6. لینک های شکسته یا ریدایرکت شده 
7. URL‌‌های اشتباه در سایت مپ سایت

چطور نرخ ‌خزش سایت ام رو زیاد کنم؟

• لینک سازی خارجی
• افزایش سرعت سایت
• رفع ایرادات محتوایی و ساختاری
• ساخت سایت مپ
• استفاده از لینک های داخلی
• خرید سرور اختصاصی
• تولید محتوای منظم

سوالات متداول:

جمع‌بندی

کراول باجت به میزان سهم وب سایت شما برای دیده شدن توسط خزنده‌ های گوگل جهت ایندکس و وارد شدن به فرایند رتبه بندی در موتور های جستجو اشاره دارد، اگر خواهان رسیدن به بهترین نتایج در موتور های جستجو هستید باید به نرخ کراول باجت وب سایت‌ تان توجه ویژه داشته باشید!

اگر به دنبال مقالات و مطالب بیشتر هستید از وبلاگ آی مهدیار و برای کسب اطلاعات بیشتر و استفاده از خدمات دیجیتال مارکتینگ از وبسایت آی مهدیار دیدن کنید‌.