شنبه ۱۰ دی ۰۱ ۱۴:۵۶ ۵ بازديد
یک نرم افزار بدون نقص و جامع برای کراول یا خزیدن (Crawl) فنی وب سایت وجود نداره.
بایستی عواملی رو که بر فرکانس خزیدن وبسایت برای بهینه سازی تأثیر میذارن بشناسین. هیچ زمان یک واحد سنجش معین برای اجرا بازرسی های فنی سایت برای هر متخصص سئو وجود نداره.
هر تارنما دارای اپلیکیشن زمانبندی توسعه و گسترش فردی، پروسه انتشار و تعداد بیشماری از متغیرهای دیگه است که می تونه نیاز به احتساب فنی رو پایین تأثیر قرار بده.
به این ترتیب فکر می کنین با چه بعد از ظهر وقتی بایستی بازدیدهای فنی تارنما رو برای سئو اعمال به‌این؟ نتایج این مطالعه به چه چیز بستگی داره؟
این سؤال خیلی مهم می باشد. بیایید نگاهی سریع بیندازیم به اینکه خزیدن یا کراول تارنما چیست و چرا می بایست واحد سنجش کراول کردن رو مطالعه کنیم؟
خزیدن فنی تارنما برای سئو چیست؟
خزیدن یک سایت وقتی هست که “خزنده” یا ربات یک اپلیکیشن از هر صفحه وب سایت بازدید و هم‌زمان با آن اطلاعات رو استخراج می کنه.
این مورد مشابه شیوه بازدید ربات موتور جستجو از وب سایت شماست.
این ربات به دستورات شما بر اساس اعتنا یا در نظرنگرفتن robots.txt شما، تبعیت یا بی اعتنایی به تگ های nofollow یا سایر شرایطی که می تونین گزینش کنین، شغل میکنه.
آن گاه با دنبال کردن پیوند ها و تلاوت نقشه های سایت XML، هر کاغذ ای رو که می تونه پیدا کنه، کراول می کنه.
همان طور که خزنده در تارنما پیش میره، اطلاعات مربوط به صفحات رو بازگردانی می کنه.
ممکنه این اطلاعات کدهای پاسخ سرور مانند 404 یا وجود یک تگ تازه ایندکس (no index) در کاغذ باشه، یا اینکه بفهمه آیا از خزیدن ربات ها در آن وبسایت از طریق robots.txt دوری میشه یا نه.
همچنین ممکنه اطلاعات HTML مانند عنوان ورقه و توضیحات، طرح معماری سایت و هرگونه محتوای تکراری رو آماده کنه.
همه این اطلاعات به شما یک تصویر حاذق از قابلیت و امکان خزیدن و ایندکس شدن وبسایت میدن.
این خزنده همچنین می تونه مواردی رو که ممکنه بر رتبه بندی تأثیر بذارن، مانند سرعت بارگذاری یا از دست رفتن داده های متا، مشخص کنه.
مقصود از خزیدن فنی وب سایت برای سئو بهینه سازی
غرض شما از خزیدن یک وب سایت معمولاً شناسایی یک یا چندین آیتم مؤثر میباشد:
امکان خزیدن.
قابلیت و امکان ایندکس شدن.
درجه بندی ها.
هنگامی که اپ رو در دست داشته باشین، اجرای خزیدن سایت فعالیت ساده ای است.
اگه می‌خواهید موضوعات بالقوه یا فعلی سایت خود رو مشاهده کنین، منطقی میباشد که به طور منظم و مکرر آن رو کراول کنین.
چرا نباید دائماً وبسایت رو کرال کرد؟
در seo، وظایف نسبتاًً نامحدودی وجود داره که می تونیم هر لحظه انجام بدیم.
این وظایف عبارتند از: آنالیز SERP، جدید سازی عنوان ها متا و ویرایش نسخه با امید به درجه بندی بالاتر.
سوای داشتن استراتژی در پس این کار ها، در بهترین حالت تأثیرگذاری خود رو از دست میدین. در بدترین حالت، عملکرد سایت کاهش پیدا میکنه.
بایستی مانند سایر وظایف سئو، یک استراتژی در پس خزیدن تارنما وجود داشته باشه.
نه تنها می بایست تعداد دفعات مناسب خزیدن وب سایت رو بدونین، بلکه می بایست به این شعور برسین که چرا نباید سایت رو دائماً کراول کرد. اساساً، خزیدن مداوم تارنما وقت و منابع رو هدر میده.
زمان
افزودن URL به خزنده تارنما و کلیک بر روی آن فعالیت چندان رنج نیست. اگه برنامه ریزی کنین که خزیدن ها به طور اتوماتیک واقعه بیفتن، حتی زمان کمتری هم صرف خواهد شد.
براین اساس باید بدونین چرا زمان ادله گزینش کننده تعداد دفعات کراول یک وب سایت هست؟ اگه بخواهید نتیجه ها رو استیناف نکنین، خزیدن در وبسایت فایده ای نداره.
تعبیر داده ها به مجال نیاز داره. ممکنه نرم افزاری داشته باشین که خطاهای موجود رو در یک سیستم با کد اضطراری رنگی نشان بده که می تونین سریع آنها رو تشخیص به این.
نمایش این کد به تنهایی بازرسی خزیدن نیست. ممکنه از این طریق اشتباهات مهمی رو نادیده بگیرین.
اگه بیش از اندازه به ابزاری پشت گرمی کنین که به شما بگه چه‌طور تارنما خود رو سئو کنین، ممکنه مسیر اشتباهی رو پیش بگیرین.
اگرچه این نوع گزارش ها بسیار مفید هستن، اما باید با تحلیل‌ها و آنالیز عمیق تر یار باشن تا بفهمین سایتتان به چه شکل از استراتژی بهینه سازی شما جانبداری می کنه.
دلایل خیر و خوبی وجود داره که باید این گزارش های خودکار رو تهیه کنین تا به طور مکرر جاری ساختن بشن.
ممکنه چند مورد خطای سرور داشته باشین که بایستی هر روز به شما هشدار داده بشه. این هشدار ها باید عمیق تر تفحص بشن.
به حساب آوردن مناسب خزیدن، با آگاهی از اپ seo، طولانی است. آیا شما ظرفیت و نیاز مورد نیاز برای اعمال خزیدن و احتساب بی نقص روزانه آن رو دارین؟
منابع
برای خزیدن سایت خود، به اپلیکیشن نیاز دارین. اگه هزینه لایسنس برخی از نرم‌افزار ها رو پرداخت کنین، به کار گیری از آنها به صورت نامحدود بدون‌پول میشه.
برخی دیگه از اپلیکیشن ها بسته به میزان استفاده شما، هزینه دریافت می کنن.
اگه هزینه اپلیکیشن خزیدن شما بر طبق ترازو استفاده باشه، ممکنه کراول کردن هر روز تارنما هزینه زیادی داشته باشه.
در نهایت ممکنه دارایی ماهانه خود رو به طور کاملً از بین ببرین و خود رو مبتلا نقص کنین.
ضعف سرور
متأسفانه، برخی از سایت ها به سرورهایی متکی بودن می کنن که توان خاصی ندارن. در سود، خزیدنی که خیلی سریع یا در یک زمان نامرتب جاری ساختن بشه، می تونه تارنما رو حاد کنه.
من تماس های ناخوشایندی رو از طرف رئیس هاست یا سرور با تیم سئو تجارب کردم که می پرسید آیا دوباره وبسایت کراول میشه.
من همچنین در سایت هایی کار کردم که ابزارهای خزنده در robots.txt مسدود شده بودن تا از کاهش بیشتراز حد seo وبسایت خودداری کنه.
اگرچه واضحه که این اوضاع ایده آل نیست، اما برای سئوکارانی که برای شرکتهای کوچک شغل می کنن، این یک اکران بسیار ساده می باشد.
خزیدن در تارنما با خیال و خاطر وا رفته ممکنه نیاز به کند شدن ابزار داشته باشه، و این اتفاق پروسه رو زمانبرتر می کنه.
باید با شخصی که مسئول حفظ سرور میباشد ارتباط برقرار کنین تا باور پیدا کنین که می تونن برای خزیدن تارنما فراهم باشن. از این رو ایفا خزیدن به طور مکرر یا بدون استدلال شیوه پایداری نیست.
جایگزین هایی برای خزیدن سایت
برای بازرسی خطاها، لزوماً نیازی به خزیدن روزانه تارنما خود ندارین. می تونین با سود بردن از فرآیندها و ابزارهای دیگه، نیاز به خزیدن های مکرر رو کاهش به‌این.
نرم افزاری برای پژوهش بر تغییرات
برخی از نرم افزارها می تونن وبسایت شما رو درباره تغییرات متعدد در اختیار گرفتن کنن.
مثلا، می تونین برای صفحه ها جدا هشداری تهیه و تنظیم کنین تا در صورت تغییر‌و تحول محتوا، آنها رو در اختیار گرفتن کنه.
اگه صفحات اساسی تجاری داشته باشین که برای موفقیت وب سایت شما حیاتی باشن، می بایست هر لحظه که کسی تغییری در آن ها ساخت می کنه، از این تغییرات باخبر بشین.
همچنین می تونین از بعضی اپ ها برای تدبیر کشف کردن از شرایط سرور، انقضا SSL، تغییرات robots.txt و خطاها اعتبار سنجی نقشه وب سایت XML استفاده کنین.
تمام این هشدارها می تونه نیاز شما به خزیدن در سایت برای شناسایی مشکلات رو کاهش بده.
در عوض، می تونین کراول یا خزیدن ها و بررسی ها رو برای مشکلاتی که کشف میشن و نیاز به اصلاح دارن، ذخیره کنین.
فرایندهایی که متخصصان بهینه سازی رو از تغییرات یا نرم افزار ها آگاه می کنن
شیوه دیگه برای به دست‌کم رساندن نیاز به خزیدن تارنما، اکثر وقت ها اجرا فرایندهایی با اعضای دیگه مجموعه میباشد که شما رو از تغییراتی که ممکنه برای تارنما شکل بده، باخبر می کنه.
اما در اکثر موردها، گفتن آن شل تر است، البته هنوز هم شیوه خوبی به لحاظ میرسه.
اگه به تیم طراحان یا سیستم نگهبانی دسترسی دارین و مرتباً با رئیس پروژه راجع‌به هستین، احتمالاً می دونین که چه وقتی ممکنه گسترش ها و طراحی ها بر بهینه سازی تأثیر بذارن.
حتی اگه دقیقاً نمی دونین کدام توسعه و طراحی قراره تغییر و تحول کنه، یا اگه از تاریخ تغییر با خبر هستین، می تونین زمانبندی خزیدن وب سایت خود رو به طوری طرح ریزی کنین تا پیرامون این تغییرات واقعه بیفته.
با درایت از مجال تکثیر بدون واسطه صفحات تازه، دستکاری محتوا یا فعال سازی تولیدها جدید، خواهید فهمید که چه وقتی به خزیدن نیاز خواهید داشت.
این دانایی شما رو از نیاز به خزیدن پیشگیرانه هفتگی در صورت تغییر نجات میده.
خزیدن اتوماتیک با گزارش های مناسب
همانطور که در صدر ذکر شد، ابزارهای خزنده اغلب به شما امکان میدن تا زمان خزیدن خود رو طرح ریزی کنین.
ممکنه در موقعیتی باشین که سرور و فرایندهای شما در قبال این برنامه ریزی مقاومت کنن.
فراموش نکنین که شما هنوز هم نیاز به تلاوت و به حساب آوردن خزنده ها دارین، بنابراین طراحی برنامه آنها لزوماً سبب ساز صرفه جویی در وقت شما نمیشه، مگه اینکه در پایان گزارش بینش نه به شما ارائه بدن.
ممکنه بتونین نتایج خزیدن رو به داشبوردی منتقل کنین که شما رو از مسائل خاصی که نگران آن هستین، مطلع کنه.
از جمله، ممکنه یک تصویر فوری از چگونگی ارتقاء تدریجی صفحاتی که پاسخ سرور 404 رو برمی گردونن، ارائه بده.
به این ترتیب این اتوماسیون و گزارش دهی می تونه باعث بشه که شما خزیدن و رسیدگی خاص تری رو انجام بدین و نیاز به خزیدن های مکرر نداشته باشین.
چه موقع می بایست خزیدن اجرا بشه؟
همان گونه که تا قبل از اینً راجع به آن مشاجره کردم، خزیدن های مکرر صرفا به منظور تحقیق سالم وبسایت ما یحتاج نیستن.
خزیدن باید واقعاً در وضعیت خاص زیر جاری ساختن بشه:
قبل از تغییرات محتوا یا طراحی
اگه تارنما خود رو برای تغییر و تحول فراهم می کنین، از جمله، انتقال محتوا به ساختار URL نو، باید آن رو کراول کنین.
این خزیدن به شما یاری می کنه ایرادات جان دار در کاغذ هایی که در هم اکنون تغییر هستن رو شناسایی کنین.
این تغییرات گاهی می تونه بر همت صفحه ها پس از انتقال تأثیر بذاره.
خزیدن تارنما قبل از اینکه یک تغییر محتوا یا طراحی در وب سایت اجرا بشه، باور میده که وب سایت برای تغییرات مثبت در وضعیت با صرفه میباشد.
قبل از جاری ساختن آزمایشات
اگه در فعلا فراهم سازی یک آزمایش در سایت خود هستین، به عنوان مثال، استیناف اینکه غیرفعال کردن بک پیوند های هرزنامه چه تأثیری ممکنه داشته باشه، بایستی متغیرها رو در دست گرفتن کنین.
وبسایت خود رو کراول کنین تا از هرمورد دیگه ای که ممکنه در منفعت آزمایش تأثیر بذاره، با خبر بشین.
باید بتونین بی شک بگین که این فایل غیر فعال باعث افزایش جایگاه بندی برای یک ناحیه دارای نقص از وب سایت شما شده، و سرعت بار گذاری آن URL ها در همان زمان افزایش نیافته هست.
زمانی اتفاقی افتاده میباشد
شما می بایست هرگونه تغییر عمده در وب سایت که می تونه کد رو زیر تأثیر قرار بده، پژوهش کنین. این استیناف نیاز به یک خزیدن فنی داره.
این تغییرات عمده پس از انتقال عبارتند از: ایجاد تغییرات تازه در طراحی، یا کارایی برای افزودن آرم اسکیما به تارنما یا هر آنچه که ممکنه خراب شده یا به درستی استقرار نیافته باشه.
زمانی که هشدار وجود یک نقص اعلام میشه
ممکنه یک هشدار از طریق ابزارها یا پژوهش شخصی نسبت به یک نقص فنی بهینه سازی، مانند یک ورقه وخیم، به شما داده بشه.
این هشدار می بایست آغازگر مراحل خزیدن و پژوهش وبسایت شما باشه. ایده خزیدن اینه که بفهمین آیا نقص به طور کلان یا در حوزه خاصی از سایت وجود داره که تا قبل از اینً به شما هشدار داده شده بود.
چه عواملی می تونن بر عصر هنگامی اعمال خزیدن فنی بهینه سازی وبسایت تأثیر بذارن؟
هیچ دو وب سایتی یکسان نیستن (مگر اینکه سایت شما یکسان سازی شده باشه که این یک گزینه متعدد میباشد).
بر طبق دست اندرکاران مختلف، تارنما ها نیازهای متعدد خزشی و مطالعه خواهند داشت.
اندازه تارنما، عدم وضوح آن و تعداد دفعات تغییر طراحی می تونه بر واحد سنجش نیاز به کراول سایت تأثیر بذاره.
اندازه
اگه فقط یک سری صفحه داشته باشین، نیاز زیادی به خزیدن مکرر سایت ندارین.
این احتمال وجود داره که به نه از تغییراتی که در وبسایت کوچک شما تشکیل داد شده، باخبر بشین و به راحتی حاذق به شناسایی ایرادات اساسی باشین.
شما کاملاً درگیر هرگونه تغییر در طراحی هستین. اما ممکنه وب سایت های سازمانی ده ها هزار شیت بزرگ داشته باشن.
از‌آن‌جا‌که تغییرات در صدها کاغذ هم زمان ایجاد کرد میشه، احتمالاً این تارنما ها خطاها بیشتر و گران قدر تری خواهند داشت.
یک گونه های کوچک به تنهایی می تونه حجم زیادی از صفحات رو پایین تأثیر قرار بده. وب سایت هایی با این اندازه ممکنه نیاز به خزیدن های مکرر داشته باشن.
نوع
نوع وب سایتی که روی آن عمل می کنین نیز ممکنه گزینش کنه که هر چندین وقت یکبار باید کراول بشه.
یک وب سایت اطلاعاتی که تغییرات پاره ای در صفحه ها اساسی خود تا فرصت استیناف سالانه داره، نسبت به سایتی با صفحه های کالا که معمولاً به طور مداوم تغییر و تحول می کنه، به دفعات خزیدن کمتری نیاز داره.
مغازه های اینترنتی
یک کدام از نکات ظریف در سایت های کسب و کار الکترونیکی در امر بهینه سازی، بایگانی میباشد.
صفحه ها محصول ممکنه هر روز آپدیت رسانی بشن و ممکنه محصولات به همین تعداد سکو از انبار خارج بشن.
این تغییرات می تونه مسائل فنی سئو رو ایجاد کرد کنه که بایستی سریعاً آنها رو برطرف کنین.
ممکنه بفهمین که طرز واکنش یک تارنما با محصولات مو جود در بازار، هدایت آن ها به طور موقت یا همیشگی میباشد.
ممکنه تولیدها مو جود در بازار کد 404 رو برگردونن. هر روشی که برای مقابله با آنها انتخاب بشه، بایستی در صورت بروز این مورد به شما هشدار داده بشه.
ممکنه وسوسه بشین که روزانه تارنما خود رو کراول کنین تا این صفحه های جدید یا حذف شده رو پیدا کنین. همانگونه که تا قبل از اینً گفتم، طریق های بهتری برای شناسایی این تغییرات وجود داره.
یک ابزار تحقیق بر سایت می تونه صفحاتی که کد موقعیت 404 رو باز می گردونن رو معلوم کنه.
با این حال ممکنه دارایی فعلی شما نتونه هزینه های این نرم افزار رو تأمین کنه. در‌این‌صورت، ممکنه هنوز نیاز باشه که هفته ای یکبار یا بیشتر وب سایت خود رو کراول کنین.
تارنما های خبری
وب سایت های خبری معمولاً صفحه های جدیدی اضافه می کنن. ممکنه در روز چندین شیت نو به وبسایت اضافه بشه، گه گاه تعداد این صفحات برای تارنما های گران قدر خبری به بیشتراز 100 عدد میرسه.
این واحد سنجش تغییرات در روز برای یک تارنما بسیار بزرگ میباشد. بسته به روند داخلی، این صفحه های جدید ممکنه با تأثیر معدود و زیادی بر تلاش seo تارنما منتشر بشن.
دیدگاه ها و محتوای ساخت و ساز شده بوسیله کاربر
هر سایتی که توان افزودن محتوا رو برای عامه مردم داشته باشه، خطر وقوع خطاهای فنی در seo رو افزایش میده.
به عنوان مثال، لینک و پیوند های وخیم، محتوای تکراری و داده های متا از دست رفته در سایت های دارای انجمن مذاکره رایج هستن.
ممکنه این نوع تارنما ها بیشتر از وبسایت های محتوایی که صرفا اجازه تکثیر توسط مدیران وب رو دارن، به خزیدن مکرر نیاز داشته باشن.
ناشران متفاوت
ممکنه یک سایت محتوایی که دارای الگو های پاره ای میباشد، در هنگام بروز خطاها فنی در امر بهینه سازی نسبتاً معدود خطر باشه.
متأسفانه، اگه ناشران زیادی دارین، خطر خراب شدن وبسایت وجود داره. کاربرانی که درک یه خرده از طریق ایجاد کرد URL یا موضوع های اساسی CMS دارن، می تونن اشتباهات بهینه سازی فنی ساخت کنن.
اگرچه این واقعاً یک خلل آموزشی است، ولی در حالی که ناشران یادگرفتن میبینن، نیاز به خزیدن در وبسایت ها وجود داره.
زمانبندی و هماهنگی
برهان مهم دیگه ای که می بایست در حیث بگیرین، زمانبندی سایر دسته های شرکت شماست.
ممکنه گروه طراحی دو هفته سریع عمل کنه. براین اساس فقط لازمه هر دو هفته یک بار سایت خود رو کراول کنین تا تأثیر این تغییرات رو در بهینه سازی تارنما خود ببینین.
اگه نویسندگان شما روزانه وبلاگ های جدیدی منتشر می کنن، می بایست دفعات خزیدن سایت شما بیشتر بشه.
سود
یک نرم افزار کلی برای خزیدن فنی تارنما ها وجود نداره. استراتژی، فرآیندها و نوع وب سایت شخصی شما در بهینه سازی بر روی میزان با صرفه ایفا خزش ها تأثیر میذاره.
ظرفیت و منابع شخصی شما نیز بر این برنامه تأثیر میذاره.
به استراتژی seo خود اعتنا داشته باشین و سایر هشدارها و استدلال‌ها رو برای به دست کم رسوندن نیاز به خزیدن مکرر وبسایت ایفا به‌این.
خزیدن های شما نباید تنها یک تمرین محافظت وب سایت باشه، بلکه باید در پاسخ به یک نیاز پیشگیرانه یا واکنشی ایفا بشه.
- ۰ ۰
- ۰ نظر