کرال دپس یکی از فرایندهای ربات‌های گوگل در ایندکس کردن صفحات سایت‌های اینترنتی است که نقش بسیار اساسی در سئو سایت دارد. با استفاده از این قابلیت شما می‌توانید در زمان بسیار کوتاهی صفحات سایت خود را به گوگل معرفی کرده و صفحات جدید را نیز سریعاً ایندکس کنید.
اما اینکه crawl depth دقیقاً چیست و چه فرایندی را در وب سایت ما طی می‌کند، موضوعی است که در ادامه به آن می‌پردازیم. با توجه به پیچیدگی‌هایی که انواع الگوریتم‌های گوگل داشته و تکنیک‌های زیادی که برای سئو می‌توان از آن‌ها بهره جست، آشنایی با کرال دپس و پیاده‌سازی یک معماری عالی برای بهینه کردن و افزایش تأثیر آن در وب سایت، می‌تواند یک مزیت بزرگ برای سایت شما محسوب شود.
کرال دپس به چه معنی است؟
کرال دپس یا عمق خزیدن در واقع به تعداد صفحاتی اطلاق می‌شود که موتورهای جستجو و ربات‌های گوگل در یک بار خزش به آن‌ها دسترسی پیدا می‌کنند. در این عمق‌بندی، صفحه‌ی اصلی سایت شما دارای عمق 0 خواهد بود.
تمام صفحاتی که با یک بار کلیک از صفحه‌ی اصلی می‌توان وارد آن‌ها شد، عمق 1 خواهند داشت. صفحاتی هم که در صفحات عمق 1 به آن‌ها لینک داده می‌شوند، در عمل خزش ربات‌های گوگل، با عمق 2 تعریف می‌شوند. این روند به همین صورت ادامه پیدا می‌کند .
با این تعریف به راحتی می‌توان متوجه شد که عمق خزش یا همان کرال دپس در واقع ورود خزنده‌های گوگل به صفحات زیرین سایت شما است. این تعریف می‌تواند نقش بسیار مهمی در سئو سایت و همچنین رتبه‌بندی خود سایت و رتبه‌بندی صفحات سایت داشته باشد.
برای تدوین استراتژی لینک گذاری و بک لینک‌های سایت خود حتماً بایستی این عمق خزش را به عنوان یکی از فاکتورهای مهم و حیاتی در نظر بگیرید. در ادامه هر چه بیشتر درباره‌ی نقش کرال دپس در سئو صحبت خواهیم نمود.
![کرال دپس چیست]()
در فرایند crawl depth چه کاری انجام می‌شود؟
حال سؤال اینجاست که در فرایند crawl depth چه اتفاقی می‌افتد؟ برای اینکه این فرایند آغاز شود، گوگل یک لینک از سایت شما را نیاز دارد. بعد از شناسایی اولین لینک، فرایند crawl depth به شرح زیر شروع و انجام می‌شود:
- در قدم اول Googlebot یا ربات گوگل با استفاده از یک لینک وارد یک صفحه از سایت شما می‌شود؛
- در ورود اول گوگل همه‌ی قسمت‌های این صفحه را ارزیابی و ایندکس می‌کند؛
- سپس گوگل در فرایند crawl depth وارد تک به تک تمام لینک‌های موجود در آن صفحه می‌شود؛
- این فرایند تا ایندکس شدن تمام لینک‌ها و پیوندهای موجود در صفحات ادامه پیدا می‌نماید.
اما هدفی که در سئو و با crawl depth به دنبال آن هستیم، ایندکس کردن تمام صفحات و البته صفحات جدید است که نیاز به معماری خاصی دارد. در ادامه با شرایط مناسب و تأثیر crawl depth بر سئو بیشتر آشنا می‌شویم.
گوگل چگونه یک سایت را ایندکس می‌کند؟
وقتی شما در حال جستجوی یک کلمه یا عبارت در گوگل هستید، نتایج این جستجو بایستی از جایی که قبلاً در آن ذخیره شده است، استخراج شود. اطلاعاتی مانند متن، عکس، فیلم و ... همگی قبلاً توسط گوگل ایندکس و در فضایی در گوگل ذخیره شده‌اند و در هنگام جستجو به نمایش در می‌آیند.
این فضا را اصطلاحاً کتابخانه‌ی گوگل می‌نامیم. ربات‌های جستجوی گوگل که اصطلاحاً خزنده یا عنکبوت هم نامیده می‌شوند، دائماً در حال بازدید از صفحات اینترنتی هستند و آدرس هر صفحه‌ی جدیدی که در فضای وب ایجاد می‌شود را بعد از بازدید در این کتابخانه ذخیره می‌کنند.
از این طریق آن‌ها را در نتایج جستجو به نمایش در می‌آورند. همچنین ممکن است هر صفحه پیوندها و لینک‌هایی هم به سایر صفحات وجود داشته باشد که خزنده‌ها با دنبال کردن همه‌ی این پیوندها آن‌ها را نیز شناسایی و ایندکس گذاری می‌کنند.
با این تعریف اگر شما صفحه‌ی جدیدی در اینترنت ایجاد کنید، یکی از راه‌های شناسایی آن به گوگل این است که از صفحات قبلی ایندکس شده به این صفحه لینک دهید تا گوگل از این طریق آن را نیز شناسایی و ذخیره کند.
علاوه بر این برای اینکه صفحات جدید شما سریعتر ایندکس شوند، می‌توانید مستقیماً نسبت به ایندکس کردن آن‌ها در گوگل اقدام کنید. برای این کار از ابزار سرچ کنسول و در قسمت ارسال URL می‌توانید آدرس صفحه‌ی جدید را برای گوگل بفرستید.
کرال دپس یا همان عمق خزش در این پروسه می‌تواند شما را در ایندکس کردن صفحات وب سایتتان یاری کند. صفحه‌ای که در آن لینکی وجود نداشته باشد و هیچ صفحه‌ی دیگری به آن لینک نداده باشد، عموماً ممکن است خیلی دیر ایندکس شود.
کاربرد کرال دپس برای ایندکس شدن همه‌ی صفحات دقیقاً در همین قسمت خود را نشان می‌دهد. با توجه به اینکه ربات گوگل هر چند وقت یک بار همه‌ی سایت‌ها را مورد بررسی قرار می‌دهد، ایجاد لینک‌ها در صفحات وب سایت راهنمایی بسیار عالی برای این ربات خواهد بود.
![عمق خزش چیست]()
عمق خزش در معماری سایت
برای اینکه مفهوم عمق خزش را بهتر متوجه شوید، بایستی فرایند آن را در سایت خود به صورت کاربردی بررسی نمایید. اشتباه بزرگی که بسیاری از کاربران در درک مفهوم عمق خزش دارند، این است که آن را با مفهوم عمق صفحه اشتباه می‌گیرند.
عمق خزش در معماری یک سایت تفاوت زیادی با عمق صفحه دارد. عمق صفحه در واقع اصطلاحی است که مشخص می‌کند که کاربر برای رسیدن به صفحه مذکور بایستی چه مسیری را طی کند. برای درک بهتر این مفهوم می‌توانید از پوشه‌بندی کامپیوتر خود الهام بگیرید.
احتمالاً شما یک درایو‌بندی کلی در هارد خود دارید. وقتی وارد هر درایو می‌شوید، پوشه‌های مختلفی را برای موضوعات مختلف در نظر گرفته‌اید و هر پوشه دارای زیر پوشه‌های دیگری نیز می‌باشد. این روند ممکن است به همین صورت تا عمق بسیار زیادی ادامه پیدا کند. این موضوع دقیقاً برای وب سایت شما نیز به همین ترتیب است.
صفحات اصلی شما در نقش پوشه‌های اولیه هستند و صفحات بعدی نیز پوشه‌های بعدی را تشکیل می‌دهند. اما عمق خزش تعریف کاملاً متفاوتی دارد. مسلماً در هر سایتی صفحات اولیه و لینک‌های اصلی ارزش بیشتری داشته و لینک‌های بیشتری هم به این صفحات داده می‌شود.
از این طریق معمولاً صفحاتی که عمق صفحه‌ی بیشتری دارند، دیرتر ایندکس شده و گاها ایندکس شدن آن‌ها ممکن است بسیار طولانی شود. از این رو یک مفهوم دیگری در این بخش معرفی می‌شود که در سئو از آن به عنوان اولویت‌بندی خزش یاد می‌شود.
دقت کنید که سایت‌هایی که عمق خزش بالاتری داشته باشند، احتمال ایندکس شدن صفحات آن‌ها بیشتر از سایت‌هایی با عمق خزش و کرال دپس پایین است. مفهومی که برای عمق صفحه می‌تواند دقیقاً در نقطه‌ی عکس قرار بگیرد.
در عمق صفحه صفحات با عمق بیشتر دیرتر ایندکس می‌شوند. در یک نقطه نظر کلی صفحاتی که عمق صفحه‌ی آن‌ها بیشتر از سه کلیک است، یعنی از صفحه‌ی اصلی سایت برای رسیدن به آن‌ها بیش از سه کلیک نیاز باشد، کمتر احتمال ایندکس شدن خواهند داشت.
هدف از کرال دپس و اولویت‌بندی آن در سایت چیست؟
تمام تلاش شما به عنوان یک مدیر سایت برای معرفی محتواها و صفحات سایت به گوگل است تا از این طریق آن را به کاربران خود نشان بدهید و البته در گوگل نیز رتبه‌ی خوبی داشته باشید. حال تصور کنید که اصلاً صفحات سایت شما ایندکس نشده و در کتابخانه‌ی گوگل ذخیره نشوند،
تکلیف چیست؟ در این صورت تمام تلاش شما برای تولید بهترین محتوا و حتی سایر ابزارهای سئو بی‌نتیجه خواهد بود. پس هدف crawl depth می‌تواند نقش بسیار مهمی در ارتقاء و سئو سایت شما داشته باشد.
از این گذشته در این فرایند شما باید مشخص کنید که کدام صفحات وب سایت شما اهمیت بیشتری نسبت به بقیه دارند و آن‌ها را در اولویت‌های بالاتر برای خزیدن قرار دهید.
نقش کرال دپس در سئو
حال که با مفهوم عمق خزش آشنا شده‌اید، درک نقش کرال دپس در سئو می‌تواند ساده‌تر باشد. اما برای درک بهتر این موضوع بایستی خود را جای خزنده‌های گوگل بگذارید و سایت خود را از دید آن‌ها ببینید.
یک سایت اینترنتی در عین داشتن ظاهری ساده، می‌تواند دارای پیچیدگی‌های بسیار زیادی باشد. پیچیدگی‌هایی که درک آن حتی برای خود مدیر سایت نیز گاها مشکل بوده و ممکن است اشتباهاتی در آن داشته باشد. کاربرانی که وارد سایت شما می‌شوند تنها به دنبال رسیدن به هدف خود بوده و کاری با بقیه‌ی اجزای آن ندارند.
حال اگر معماری سایت شما به درستی چیده شده باشد، کاربر می‌تواند به راحتی هدف خود را پیدا کند. اما خزنده‌های گوگل در سایت شما به دنبال صفحه و یا هدف خاصی نیستند. آن‌ها برای ارزیابی و ایندکس کردن تمام صفحات سایت شما به آن ورود کرده‌اند.
نقش کرال دپس در سئو دقیقاً در همین موضوع خلاصه می‌شود. شما برای اینکه سئوی قدرتمندی در سایت خود داشته باشید در کنار همه‌ی ترفندها اعم از محتوای عالی، ظاهر زیبا و ... بایستی شرایط لازم برای ایندکس کردن آن‌ها در گوگل را نیز فراهم آورید.
اشاره کردیم که صفحات سایت با عمق صفحه بیشتر دیرتر ایندکس می‌شوند و عموماً دارای رتبه‌های پایینی در گوگل نیز می‌باشند. از این رو شما باید در استراتژی سئو سایت خود این واقعیت را نیز در نظر بگیرید. برخی از نکات مهم در تدوین استراتژی سئو برحسب حقیقت‌های کرال دپس به شرح زیر است:
- در درجه‌ی اول این شما هستید که باید عمق صفحات سایت خود را برای خزش راحت‌تر گوگل اولویت‌بندی نمایید.
- مسلماً لینک دهی به صفحات با ارزش برای کاهش کرال دپس می‌تواند یکی از پارامترهای مهم در استراتژی سئو باشد.
- بهینه سازی سئو سایت بدون در نظر گرفتن عمق خزیدن معنایی نخواهد داشت.
- همچنین شما در تدوین معماری سایت خود نیز باید از این پارامتر الهام بگیرید.
- کرال دپس در واقع می‌تواند مشخص کننده‌ی استراتژی لینک‌های داخلی سایت شما نیز باشد.
![crawl depth]()
مراقب تله عنکبوت باشید
وقتی صحبت از استراتژی سئو و استراتژی لینک دهی داخلی می‌کنیم، اهمیت این موضوع را در بحث سئو سایت نشان می‌دهد. یکی از ترفندهای سئو سایت که با مفهوم کرال دپس در هم آمیخته است، مدت زمانی است که ربات‌های گوگل برای ایندکس کردن در سایت شما باقی می‌مانند. سایتی که عمق خزش پایینی داشته باشد مسلماً نمی‌تواند این ربات‌ها را برای مدت طولانی در سایت نگه داشته و صفحات بیشتری را برای ایندکس کردن به آن‌ها معرفی کند.
در این بین داشتن یک استراتژی لینک گذاری داخلی باعث می‌شود تا شما بتوانید این ربات‌ها را در مسیرهای از پیش تعیین شده برای ایندکس کردن تمام صفحات سایت و یا حداقل تعداد بیشتری از آن‌ها هدایت کنید. اما این پروسه، یک نقطه‌ی عکس هم در خود دارد که می‌تواند تبدیل به یک نقطه‌ی ضعف در سئو سایت شود که از آن با عنوان تله‌ی عنکبوت یاد می‌نمایند.
هنگامی که Googlebot از طریق یک لینک خارجی وارد سایت شما می‌شود، تمام لینک‌های موجود در یک صفحه را خزش کرده و پیاپی از یک صفحه وارد صفحات جدید می‌شود. اما اگر این خزش زمان زیادی طول کشیده و تعداد عمق خزش خیلی افزایش یابد، مثلا به بیش از 100000 عمق برسد، عملاً این ربات‌ها کارایی خود را از دست می‌دهند و جستجوی گوگل نیز به دلیل نداشتن کارایی لازم از ربات‌ها در این موارد با مشکل روبرو می‌شود.
این اتفاق که از آن به تله عنکبوت یا دام یاد می‌شود می‌تواند نقش منفی کرال دپس در سایت شما باشد. البته این اتفاق برای سایت‌های خیلی بزرگ قابل تصور بوده و برای سایت‌های کوچک چنین خطری وجود نخواهد داشت.
گوگل هر چند وقت یک بار کرال دپس را روی سایت انجام می‌دهد؟
این سؤال یکی از سؤال‌های مهم در سئو سایت می‌باشد. پاسخ به این سؤال می‌تواند روند استراتژی سئو و محتوای سایت شما را دست‌خوش تغییراتی کند. در درجه‌ی اول باید بدانید که پاسخ این سؤال برای هر سایت متفاوت است. به این معنی که کرال دپس برای هر سایت بسته به پارامترهای مختلف می‌تواند بازه‌ی زمانی متفاوتی داشته باشد. اما چه پارامترهایی در تعیین این بازه‌ی زمانی تأثیرگذار خواهند بود؟
1- نوع محتوا و کیفیت محتوای سایت؛
2- فاصله‌ی زمانی قرار گرفتن محتواهای جدید در سایت؛
3- تعداد بازدید کاربران از آن؛
4- بک لینک‌های خارجی سایت؛
5- شرایط خاص اعم از اخبار مهم و روزهای پرترافیک کاربران اینترنتی.
مجموعه‌ای از این عوامل است که تعیین می‌کند گوگل هر چند وقت یک بار عمل کرال دپس را در هر سایتی انجام می‌دهد. از این رو است که این بازه‌ی زمانی برای هر سایتی یکسان نخواهد بود. تأثیر هر یک از این پارامترها نیز روی بازه‌ی زمانی حضور ربات‌های گوگل در سایت شما متفاوت است.
برای مثال شما هر چقدر محتوای با ارزش تری داشته باشید، گوگل سعی می‌کند سریعتر محتواهای سایت شما را به کاربران نشان دهد. یا اگر در زمان‌هایی خاص به صورت روزانه محتوای جدیدی در سایت قرار می‌دهید، گوگل با تشخیص این روند سعی می‌کند در بازه‌های زمانی مشخص نسبت به کرال دپس سایت شما اقدام نماید.
همچنین تعداد بک لینک‌های خارجی به سایت شما نیز در این امر تأثیر خواهد داشت. از این گذشته در هر سال روزهایی هستند که ربات‌های گوگل در آن روزها فعالیت بیشتری داشته و ممکن است سایت‌های بیشتری را ایندکس کنند؛ زمان‌هایی مانند برخی اتفاقات سیاسی یا اقتصادی و یا هر روزی که باعث شود تعداد کاربران اینترنت به صورت فزاینده‌ای افزایش یابد.
![عمق خزش]()
برای افزایش کرال دپس در سایتمان چه کاری می‌توانیم انجام دهیم؟
اقداماتی هم وجود دارند که با استفاده از آن‌ها می‌توان کرال دپس سایت را بهینه نمود و افزایش داد. برخی از مهم‌ترین این اقدامات به شرح زیر هستند:
1- بهینه سازی عمق صفحه
در قدم اول باید سعی کنیم عمق صفحات سایت را بهینه کنیم. برای این منظور شما باید مسیرهای کوتاه‌تری برای رسیدن به صفحات مختلف سایت خود در نظر بگیرید.
2- استراتژی مشخص بک لینک داخلی سایت داشته باشید.
شما بایستی با داشتن یک استراتژی قدرتمند برای لینک‌های داخلی سایت خود هدایت‌گر خزنده‌های گوگل به سمت صفحات مورد نظر خود باشید.
3- در سیستم مدیریت محتوای سایت خود از برچسب‌ها و متاتگ‌ها برای هدایت خزنده‌ها استفاده کنید.
4- سایت مپ یا نقشه XML سایت خود را حتماً در یک بازه‌ی زمانی مشخص به روز رسانی کنید.
5- افزایش سرعت سایت نیز تأثیر بسزایی روی بهینه سازی و افزایش کرال دپس سایت شما خواهد داشت.
سئو سایت ابزارهای مختلفی دارد که استفاده از مجموعه‌ای از این ابزارها است که موفقیت شما را تضمین می‌کند. استفاده از یکی از این ابزارها و غافل شدن از بقیه، شرایط مناسبی را برای شما رقم نخواهد زد. یکی از پارامترهای مهم در سئو سایت هم کرال دپس است.
برای اینکه سایت خود را راحت‌تر و بهینه‌تر به ربات‌های گوگل بشناسانید بایستی از کاربردهای کرال دپس اطلاع داشته باشید و از ترفندهای ذکر شده برای بهینه سازی آن در سایت خود نیز استفاده کنید.
:reference
www.seoclarity.net/blog/what-is-crawl-depth