خزنده وب چیست و چگونه کار می کند؟
آیا تا به حال در Google چیزی را جستجو کرده اید و از خود پرسیده اید “از کجا می داند کجا را جستجو کند؟” پاسخ کوتاه است : “خزنده های وب” ، که در وب جستجو می کنند و آن را فهرست بندی می کنند تا بتوانید به راحتی آنلاین موارد را پیدا کنید. در این مقاله ما توضیح خواهیم داد که خزنده وب چیست و چگونه کار می کند /
موتورهای جستجو و خزنده ها
هنگامی که شما با استفاده از کلمه کلیدی در موتور جستجوی مانند Google یا Bing جستجو می کنید ، سایت تریلیون صفحه را غربال می کند تا لیستی از نتایج مربوط به آن اصطلاح را ایجاد کند. چگونه این موتورهای جستجو همه این صفحات را روی فایل دارند ، می دانند چگونه به دنبال آنها بگردند و در عرض چند ثانیه این نتایج را ایجاد می کنند؟
پاسخ خزنده های وب است که به عنکبوت نیز معروف می باشند . اینها برنامه های خودکاری هستند (که اغلب “ربات” نامیده می شوند) در سراسر وب “خزیدن” یا مرور می کنند تا بتوانند به موتورهای جستجو اضافه شوند. این ربات ها وب سایت ها را فهرست بندی می کنند تا لیستی از صفحات را ایجاد کنند که در نهایت در نتایج جستجوی شما ظاهر می شوند.
خزنده ها همچنین کپی این صفحات را در پایگاه داده موتور جستجو ایجاد و ذخیره می کنند ، که به شما امکان می دهد تقریبا بلافاصله جستجو کنید. همچنین این دلیلی است که موتورهای جستجو اغلب نسخه های cached سایت را در پایگاه داده خود قرار می دهند.
نقشه سایت و انتخاب
بنابراین ، خزنده ها چگونه وب سایت هایی را برای خزیدن انتخاب می کنند؟ خوب ، رایج ترین سناریو این است که دارندگان وب سایت ها می خواهند ربات های موتورهای جستجو در سایت های آن بخزد. آنها می توانند با درخواست از گوگل ، بینگ ، یاهو یا موتور جستجوی دیگر برای فهرست بندی صفحات خود به این مهم دست یابند. این فرآیند از موتور به موتور دیگر متفاوت است. همچنین ، موتورهای جستجو با ردیابی تعداد دفعاتی که یک URL در سایر سایت های عمومی پیوند می یابد ، به طور مكرر وب سایت های معروف و خوب را برای خزیدن انتخاب می كنند.
دارندگان وب سایت می توانند از فرایندهای خاصی برای کمک به موتورهای جستجو استفاده کنند تا وب سایت های خود را نمایه کنند ، مانند بارگذاری نقشه سایت. این یک پرونده حاوی تمام پیوندها و صفحاتی است که بخشی از وب سایت شما هستند. به طور معمول برای نشان دادن صفحاتی که می خواهید ایندکس شوند استفاده می شود.
هنگامی که موتورهای جستجو یک بار وب سایتی را جستجو کردند ، آنها به طور خودکار دوباره آن سایت را جستجو می کنند. این فرکانس براساس محبوبیت یک وب سایت ، در میان سایر معیارها ، متفاوت است. بنابراین ، دارندگان سایت به طور مكرر نقشه های سایت به روز شده را نگه می دارند تا به موتورها اطلاع دهند كه چه وب سایت های جدیدی را فهرست بندی می كنند.
ربات ها و فاکتور ادب
اگر وب سایتی نمی خواهد بعضی یا تمام صفحات آن در یک موتور جستجو نمایش داده شود ، چه می کنید؟ به عنوان مثال ، ممکن است شما مایل نباشید افراد به دنبال صفحه ای مخصوص اعضا باشند یا صفحه خطای ۴۰۴ شما را ببینند . اینجاست که لیست استثنای خزنده ، که به آن robots.txt نیز گفته می شود ، وارد عمل می شود. این یک فایل متنی ساده است که به خزنده ها دستور می دهد کدام صفحات وب را از فهرست بندی حذف کند.
دلیل دیگر مهم بودن robots.txt این است که خزنده های وب می توانند تأثیر قابل توجهی بر عملکرد سایت داشته باشند. از آنجا که خزنده ها اساساً تمام صفحات وب سایت شما را بارگیری می کنند ، منابع را مصرف می کنند و می توانند سرعت را کاهش دهند. آنها در زمان های غیرقابل پیش بینی و بدون تأیید می رسند. اگر به صفحات خود نیاز ندارید که به طور مکرر ایندکس شوند ، توقف خزنده ها ممکن است به کاهش بار وب سایت شما کمک کند. خوشبختانه اکثر خزنده ها بر اساس قوانین صاحب سایت از جستجوی صفحات خاص جلوگیری می کنند.
- بیشتر بخوانید : فایل robots.txt وردپرس
سحر و جادو فراداده
در زیر URL و عنوان هر نتیجه جستجو در Google ، شرح مختصری از صفحه را پیدا خواهید کرد. به این توصیفات description گفته می شود. ممکن است متوجه شوید که قطعه صفحه ای در Google همیشه با محتوای واقعی وب سایت هم ردیف نیست. دلیل این امر این است که بسیاری از وب سایت ها چیزی به نام ” برچسب های متا ” دارند ، که توضیحات سفارشی است که صاحبان سایت به صفحات خود اضافه می کنند.
صاحبان سایت ها اغلب توضیحات فراداده اغوا کننده ای را می نویسند که باعث شود شما بخواهید روی یک وب سایت کلیک کنید. Google همچنین سایر متا اطلاعات ، مانند قیمت ها و در دسترس بودن سهام را لیست کرده است. این ویژگی به ویژه برای کسانی که وب سایت های تجارت الکترونیکی را اجرا می کنند مفید است.
جستجوی شما
جستجوی وب قسمت اساسی استفاده از اینترنت است. جستجوی وب راهی عالی برای کشف وب سایت ها ، فروشگاه ها ، انجمن ها و علایق جدید است. هر روز ، خزنده های وب از میلیون ها صفحه بازدید می کنند و آنها را به موتورهای جستجو اضافه می کنند. اگرچه خزنده ها دارای نکات منفی مانند جذب منابع سایت هستند ، اما هم برای صاحبان سایت و هم برای بازدیدکنندگان بسیار ارزشمند هستند و به سریع کردن دسترسی اطلاعات در دنیای اینترنت کمک بزرگی می نمایند.
دیدگاه ها