Borna66
09-28-2010, 12:05 PM
» شیوه عملکرد موتورها جستجو
تفاوت های در شیوه عملکرد موتورها جستجو مختلف وجود دارد ، اما همه آن ها ۳ وظیفه اصل را انجام می دهند:
۱) در اینترنت ، یا بخش ها برگزیده ا از اینترنت ، براساس کلمات مهم جستجو را انجام می دهند.
۲) یک فهرست از کلمات و مکان هایی که پیداکرده اند تهیه می کنند.
۳) این امکان را برا کاربران فراهم می کنند تا کلمات یا مجموعه ا از کلمات مورد نظر خود را که در فهرست یافت می شود جستجو کنند.
» موتورها جستجو اولیه
موتورها جستجو اولیه یک فهرست شامل تنها چند صدهزار صفحه و فایل نگهدار می کردند و در روز شاید یک یا ۲هزار بازدیدکننده داشتند. امروزه یک موتور جستجو خوب ، صدها میلیون صفحه را فهرست می کند و در روز پاسخگو ده ها میلیون جستجو کننده است. حالا باید ببینیم چگونه این مسئولیت مهم انجام می شود و چگونه موتورها جستجو اینترنت ، بخش ها مختلف را به کار می گیرند تا ما بتوانیم اطلاعات مورد نیاز خود را در اینترنت بیابیم. در جستجو میان صدها میلیون صفحه قبل از این که یک موتور جستجوگر بتواند به شما بگوید که یک فایل در کجا قرار دارد ، باید آن فایل پیدا شود.
» روبات عنکبوتی
یک موتور جستجوگر برا یافتن اطلاعات از میان صدها میلیون صفحه که در شبکه اینترنت وجود دارد ، روبات نرم افزار خاص به نام اسپایدر(عنکبوت) را به کار می گیرد تا فهرستی از کلمات را که در سایت ها اینترنت یافت می شود ایجاد کند. فرآیند که یک اسپایدر فهرست خود را ایجاد می کند ، Web crawling نامیده می شود. برا ایجاد و نگهدار یک فهرست مفید و مناسب از کلمات ، یک اسپایدر موتور جستجوگر باید صفحات بسیار زیاد را بررس کند. حال سوالی که این جا پیش می آید این است که چگونه هر اسپایدر مسیر خود را در اینترنت آغاز می کند؟ در پاسخ باید گفت که به طور معمول نقطه شروع ، فهرستی از صفحات است که توسط سرورها زیاد استفاده می شود و هم چنین صفحات که معروف تر است.
» طرز عملکرد
اسپایدر از یک سایت عموم شروع می شود و کلمات موجود در صفحات آن را فهرست می کند و هر لینک را که در آن سایت یافت می شود دنبال می کند. به این طریق سیستم جستجوگر به سرعت شروع به حرکت می کند و در بخش های که بیشتر از همه مورد استفاده قرار می گیرد ، حرکت می کند.برای نمونه گوگل به عنوان یک موتور جستجوگر علم آغاز به کار کرد. سرج برین و لورنس پیج از مدیران گوگل بیان کردند که اسپایدرها سیستم آن ها با چه سرعت می تواند کار کند. آن ها سیستم اولیه خود را به گونه ا ساختند که از چندین اسپایدر استفاده کند ، که به طور معمول ۳ تا در یک زمان بود.در گوگل هر اسپایدر می توانست به حدود ۳۰۰ صفحه شبکه که در یک زمان باز بود اتصال برقرار کند. در بهترین عملکرد خود ، با استفاده از ۴ اسپایدر ، این سیستم می توانست در هر ثانیه به ۱۰۰ صفحه متصل باشد. زمان که اسپایدر گوگل یک صفحه HTML را مشاهده می کرد ، به ۲ نکته توجه می کرد: کلمات درون صفحه ، که در کدام مکان کلمات پیدا شده است و کلمات که در عنوان اصل یا عناوین فرع و یا سایر موقعیت های که دارا اهمیت نسب است ، قرار دارد که برا جستجو بعد کاربر مورد توجه خاص قرار می گرفت.اسپایدر گوگل هر کلمه معن دار در صفحه را فهرست و از کلماتthe ، an و a صرف نظر می کرد. دیگر اسپایدرها از روش ها متفاوت استفاده می کردند. در کل تمام این روش ها سع می کند تا عملکرد اسپایدر را سریع تر کند و به کاربران اجازه بدهد تا با کارای بهتر جستجو کنند.به عنوان مثال ، بعض اسپایدرها کلمات را که در عنوان ها ، عنوان ها فرع و لینک ها وجود دارد یا کلمات که بارها در صفحه تکرار می شود فهرست می کنند؛ سایت Lycos از این روش استفاده می کند. سایر سیستم ها ، از قبیل AltaVista ، هر کلمه در صفحه ، شامل the ، an و a و سایر کلمات را که ب اهمیت است هم فهرست می کنند.
» ایجاد فهرست
زمان که اسپایدرها وظیفه یافتن اطلاعات از صفحات اینترنت را به اتمام رساندند موتور جستجو باید این اطلاعات را به شکل که مفید است ، ذخیره کند (البته باید در نظر داشت که این وظیفه هرگز تمام نم شود ، خاصیت تغییر دائم اینترنت به این معن است که اسپایدرها همیشه در حال حرکت و جستجو هستند). ۲ مولفه کلید برا در دسترس قرار دادن اطلاعات جمع آور شده برا کاربران وجود دارد: اطلاعات ذخیره شده با داده ها و روش که توسط آن اطلاعات فهرست می شود. در آسان ترین حالت ، موتور جستجوگر می تواند تنها کلمه و URL را ذخیره کند. در حقیقت ، این روش برا موتور با کاربرد محدود است ، زیرا در این حالت راه وجود ندارد برا این که تعیین کند آیا کلمه در بخش مهم یا بخش ب اهمیت از صفحه استفاده شده است ، آیا کلمه تنها یک بار یا چندین مرتبه تکرار شده است یا صفحه لینک های به صفحات دیگر دارد که شامل آن کلمه است. به عبارت دیگر راه برا ایجاد فهرستی رتبه بند شده که تلاش می کند تا مفیدترین و بهترین صفحات را در بالا فهرست نتایج جستجو قرار بدهد ، وجود ندارد.
» حرکت به سوی کارایی بهتر
برا به دست آوردن نتایج بهتر ، بیشتر موتورها جستجو اطلاعات بیشتر علاوه بر کلمه و URL ذخیره می کنند. موتور ممکن است تعداد دفعات را که کلمه در صفحه تکرار شده است ذخیره کند ، یا ممکن است مقدار را به هر ورود اختصاص بدهد و زمان که کلمات در عناوین ، عنوان ها فرع و لینک ها ظاهر می شود ارزش اختصاص یافته به آن ها بیشتر می شود. هر موتور جستجوگر تجار ، فرمول متفاوت برا ارزش گذار کلمات فهرست خود دارد. این مسئله یک از دلایل است که موجب می شود جستجو یک کلمه در موتورها جستجوگر متفاوت ، فهرست ها متفاوت را ارائه بدهد و صفحات با ترتیب ها متفاوت ارائه شود. داده ها برا صرفه جوی در فضا ذخیره ساز رمزگذار می شود. به عنوان مثال در صفحه گوگل اطلاعات از قبیل این که آیا کلمه با حروف بزرگ بوده است ، اندازه فونت آن ، موقعیت کلمه و سایر اطلاعات که به رتبه بند آن کمک می کند به صورت بیت و بایت ذخیره می کند ، در نتیجه میزان بسیار زیاد از داده ها می تواند به شکل بسیار فشرده ا ذخیره شود. بعد از این که اطلاعات فشرده شد ، برا فهرست شدن آماده است. هدف از ایجاد یک فهرست این است که باعث شود تا بتوانیم اطلاعات را با سریع ترین حالت ممکن پیدا کنیم.
» ایجاد فهرست وب سایت ها
به طور کلی ، تنها چند راه برا ایجاد فهرست وجود دارد ، اما یک از مهم ترین و موثرترین روش ها ، ایجاد جدول hash است. در این روش فرمول به کار می رود تا به هر کلمه یک ارزش عدد اختصاص دهد. پرسش و جستجو انجام شده در این روش توسط کاربر خیل ساده است ، حت یک کلمه. برا پرسش ها پیچیده تر لازم است تا از عملگرها بولین (AND ORNOT NEAR) استفاده کرد تا بتوان شرایط جستجو را گسترش داد. به طور خلاصه عملکرد یک موتور جستجو به این صورت است: نرم افزار اسپایدر با جستجو در سایت ها مختلف فهرستی از کلمات و مکانی که قرار دارد فراهم می کند ، سپس بر اساس سیستم ارزش گذار خود فهرست رتبه بند شده تهیه ، داده ها را رمزگذار و سرانجام اطلاعات را برا دسترس کاربران ذخیره می کند.در جستجوهای که از عملگرها بولین استفاده می شود ، جستجوها لفظ است. موتور به طور دقیق همان کلمات یا عبارت را که وارد شده است جستجو می کند. زمان که کلمات ورود دارا چندین معن است ، جستجو صحیح آن ها مشکل است. در این حالت ، اگر برا شما تنها یک از معان آن کلمه مهم باشد ، شما نم خواهید سایر صفحات را که شامل معان دیگر کلمه است ببینید ، می توانید یک جستجو لفظ ایجاد کنید که تا حدود معن ها ناخواسته را حذف کند ، اما بهتر این بود که خود موتور جستجو می توانست این کار را انجام بدهد. یک از حوزه ها تحقیق در موتورها جستجوگر ، جستجو براساس مفهوم است. در یک موتور جستجوگر مبتن بر مفهوم ، اطلاعات ذخیره شده برا هر صفحه ، بیشتر است. هنوز بسیار از گروه ها تلاش می کنند تا نتایج و عملکرد این نوع از موتورها جستجو را افزایش دهند. قلمرو دیگر که پژوهش گران درباره آن تلاش می کنند ، پرسش ها به زبان طبیع نامیده می شود.
تفاوت های در شیوه عملکرد موتورها جستجو مختلف وجود دارد ، اما همه آن ها ۳ وظیفه اصل را انجام می دهند:
۱) در اینترنت ، یا بخش ها برگزیده ا از اینترنت ، براساس کلمات مهم جستجو را انجام می دهند.
۲) یک فهرست از کلمات و مکان هایی که پیداکرده اند تهیه می کنند.
۳) این امکان را برا کاربران فراهم می کنند تا کلمات یا مجموعه ا از کلمات مورد نظر خود را که در فهرست یافت می شود جستجو کنند.
» موتورها جستجو اولیه
موتورها جستجو اولیه یک فهرست شامل تنها چند صدهزار صفحه و فایل نگهدار می کردند و در روز شاید یک یا ۲هزار بازدیدکننده داشتند. امروزه یک موتور جستجو خوب ، صدها میلیون صفحه را فهرست می کند و در روز پاسخگو ده ها میلیون جستجو کننده است. حالا باید ببینیم چگونه این مسئولیت مهم انجام می شود و چگونه موتورها جستجو اینترنت ، بخش ها مختلف را به کار می گیرند تا ما بتوانیم اطلاعات مورد نیاز خود را در اینترنت بیابیم. در جستجو میان صدها میلیون صفحه قبل از این که یک موتور جستجوگر بتواند به شما بگوید که یک فایل در کجا قرار دارد ، باید آن فایل پیدا شود.
» روبات عنکبوتی
یک موتور جستجوگر برا یافتن اطلاعات از میان صدها میلیون صفحه که در شبکه اینترنت وجود دارد ، روبات نرم افزار خاص به نام اسپایدر(عنکبوت) را به کار می گیرد تا فهرستی از کلمات را که در سایت ها اینترنت یافت می شود ایجاد کند. فرآیند که یک اسپایدر فهرست خود را ایجاد می کند ، Web crawling نامیده می شود. برا ایجاد و نگهدار یک فهرست مفید و مناسب از کلمات ، یک اسپایدر موتور جستجوگر باید صفحات بسیار زیاد را بررس کند. حال سوالی که این جا پیش می آید این است که چگونه هر اسپایدر مسیر خود را در اینترنت آغاز می کند؟ در پاسخ باید گفت که به طور معمول نقطه شروع ، فهرستی از صفحات است که توسط سرورها زیاد استفاده می شود و هم چنین صفحات که معروف تر است.
» طرز عملکرد
اسپایدر از یک سایت عموم شروع می شود و کلمات موجود در صفحات آن را فهرست می کند و هر لینک را که در آن سایت یافت می شود دنبال می کند. به این طریق سیستم جستجوگر به سرعت شروع به حرکت می کند و در بخش های که بیشتر از همه مورد استفاده قرار می گیرد ، حرکت می کند.برای نمونه گوگل به عنوان یک موتور جستجوگر علم آغاز به کار کرد. سرج برین و لورنس پیج از مدیران گوگل بیان کردند که اسپایدرها سیستم آن ها با چه سرعت می تواند کار کند. آن ها سیستم اولیه خود را به گونه ا ساختند که از چندین اسپایدر استفاده کند ، که به طور معمول ۳ تا در یک زمان بود.در گوگل هر اسپایدر می توانست به حدود ۳۰۰ صفحه شبکه که در یک زمان باز بود اتصال برقرار کند. در بهترین عملکرد خود ، با استفاده از ۴ اسپایدر ، این سیستم می توانست در هر ثانیه به ۱۰۰ صفحه متصل باشد. زمان که اسپایدر گوگل یک صفحه HTML را مشاهده می کرد ، به ۲ نکته توجه می کرد: کلمات درون صفحه ، که در کدام مکان کلمات پیدا شده است و کلمات که در عنوان اصل یا عناوین فرع و یا سایر موقعیت های که دارا اهمیت نسب است ، قرار دارد که برا جستجو بعد کاربر مورد توجه خاص قرار می گرفت.اسپایدر گوگل هر کلمه معن دار در صفحه را فهرست و از کلماتthe ، an و a صرف نظر می کرد. دیگر اسپایدرها از روش ها متفاوت استفاده می کردند. در کل تمام این روش ها سع می کند تا عملکرد اسپایدر را سریع تر کند و به کاربران اجازه بدهد تا با کارای بهتر جستجو کنند.به عنوان مثال ، بعض اسپایدرها کلمات را که در عنوان ها ، عنوان ها فرع و لینک ها وجود دارد یا کلمات که بارها در صفحه تکرار می شود فهرست می کنند؛ سایت Lycos از این روش استفاده می کند. سایر سیستم ها ، از قبیل AltaVista ، هر کلمه در صفحه ، شامل the ، an و a و سایر کلمات را که ب اهمیت است هم فهرست می کنند.
» ایجاد فهرست
زمان که اسپایدرها وظیفه یافتن اطلاعات از صفحات اینترنت را به اتمام رساندند موتور جستجو باید این اطلاعات را به شکل که مفید است ، ذخیره کند (البته باید در نظر داشت که این وظیفه هرگز تمام نم شود ، خاصیت تغییر دائم اینترنت به این معن است که اسپایدرها همیشه در حال حرکت و جستجو هستند). ۲ مولفه کلید برا در دسترس قرار دادن اطلاعات جمع آور شده برا کاربران وجود دارد: اطلاعات ذخیره شده با داده ها و روش که توسط آن اطلاعات فهرست می شود. در آسان ترین حالت ، موتور جستجوگر می تواند تنها کلمه و URL را ذخیره کند. در حقیقت ، این روش برا موتور با کاربرد محدود است ، زیرا در این حالت راه وجود ندارد برا این که تعیین کند آیا کلمه در بخش مهم یا بخش ب اهمیت از صفحه استفاده شده است ، آیا کلمه تنها یک بار یا چندین مرتبه تکرار شده است یا صفحه لینک های به صفحات دیگر دارد که شامل آن کلمه است. به عبارت دیگر راه برا ایجاد فهرستی رتبه بند شده که تلاش می کند تا مفیدترین و بهترین صفحات را در بالا فهرست نتایج جستجو قرار بدهد ، وجود ندارد.
» حرکت به سوی کارایی بهتر
برا به دست آوردن نتایج بهتر ، بیشتر موتورها جستجو اطلاعات بیشتر علاوه بر کلمه و URL ذخیره می کنند. موتور ممکن است تعداد دفعات را که کلمه در صفحه تکرار شده است ذخیره کند ، یا ممکن است مقدار را به هر ورود اختصاص بدهد و زمان که کلمات در عناوین ، عنوان ها فرع و لینک ها ظاهر می شود ارزش اختصاص یافته به آن ها بیشتر می شود. هر موتور جستجوگر تجار ، فرمول متفاوت برا ارزش گذار کلمات فهرست خود دارد. این مسئله یک از دلایل است که موجب می شود جستجو یک کلمه در موتورها جستجوگر متفاوت ، فهرست ها متفاوت را ارائه بدهد و صفحات با ترتیب ها متفاوت ارائه شود. داده ها برا صرفه جوی در فضا ذخیره ساز رمزگذار می شود. به عنوان مثال در صفحه گوگل اطلاعات از قبیل این که آیا کلمه با حروف بزرگ بوده است ، اندازه فونت آن ، موقعیت کلمه و سایر اطلاعات که به رتبه بند آن کمک می کند به صورت بیت و بایت ذخیره می کند ، در نتیجه میزان بسیار زیاد از داده ها می تواند به شکل بسیار فشرده ا ذخیره شود. بعد از این که اطلاعات فشرده شد ، برا فهرست شدن آماده است. هدف از ایجاد یک فهرست این است که باعث شود تا بتوانیم اطلاعات را با سریع ترین حالت ممکن پیدا کنیم.
» ایجاد فهرست وب سایت ها
به طور کلی ، تنها چند راه برا ایجاد فهرست وجود دارد ، اما یک از مهم ترین و موثرترین روش ها ، ایجاد جدول hash است. در این روش فرمول به کار می رود تا به هر کلمه یک ارزش عدد اختصاص دهد. پرسش و جستجو انجام شده در این روش توسط کاربر خیل ساده است ، حت یک کلمه. برا پرسش ها پیچیده تر لازم است تا از عملگرها بولین (AND ORNOT NEAR) استفاده کرد تا بتوان شرایط جستجو را گسترش داد. به طور خلاصه عملکرد یک موتور جستجو به این صورت است: نرم افزار اسپایدر با جستجو در سایت ها مختلف فهرستی از کلمات و مکانی که قرار دارد فراهم می کند ، سپس بر اساس سیستم ارزش گذار خود فهرست رتبه بند شده تهیه ، داده ها را رمزگذار و سرانجام اطلاعات را برا دسترس کاربران ذخیره می کند.در جستجوهای که از عملگرها بولین استفاده می شود ، جستجوها لفظ است. موتور به طور دقیق همان کلمات یا عبارت را که وارد شده است جستجو می کند. زمان که کلمات ورود دارا چندین معن است ، جستجو صحیح آن ها مشکل است. در این حالت ، اگر برا شما تنها یک از معان آن کلمه مهم باشد ، شما نم خواهید سایر صفحات را که شامل معان دیگر کلمه است ببینید ، می توانید یک جستجو لفظ ایجاد کنید که تا حدود معن ها ناخواسته را حذف کند ، اما بهتر این بود که خود موتور جستجو می توانست این کار را انجام بدهد. یک از حوزه ها تحقیق در موتورها جستجوگر ، جستجو براساس مفهوم است. در یک موتور جستجوگر مبتن بر مفهوم ، اطلاعات ذخیره شده برا هر صفحه ، بیشتر است. هنوز بسیار از گروه ها تلاش می کنند تا نتایج و عملکرد این نوع از موتورها جستجو را افزایش دهند. قلمرو دیگر که پژوهش گران درباره آن تلاش می کنند ، پرسش ها به زبان طبیع نامیده می شود.