صفر تا صد راه اندازی موتور جستجو/ آیا موتورهای جستجوی بومی کارآمد هستند؟

به گزارش موبوایران ، این روز‌ها اینترنت فضایی را برای مردم سراسر دنیا فراهم کرده است که با جستجوی یک عبارت می‌توانند انبوهی از اطلاعات، مقاله ها، اخبار، تصاویر، ویدئو‌ها و محتوا‌هایی که درباره آن عبارت بر روی بستر اینترنت بارگذاری شده است را در کسری از ثانیه مشاهده و از آن استفاده کنند. این کاربرد اینترنت تا اندازه‌ای رشد یافته که ادامه کار و زندگی برای عده‌ای بدون اینترنت و موتور‌های جستجوگر مشکل است.

اینکه پیدا شدن این حجم از اطلاعات در کمتر از یک ثانیه چطور اتفاق می‌افتد و چگونه کار چه الگوریتمی است سوالی است که شاید کمتر کسی به آن فکر کرده باشد. از طرفی، مدتی است که در کشور پروژه‌هایی در حال اجرا است که به دنبال ایجاد موتور جستجویی بومی متخص ایرانیان هستند، اما اینکه تا چه اندازه موفق بوده اند و چرا با اجرای چنین پروژه‌هایی هنوز هم موتور جستجوی به نام ایرانی ایجاد نشده است جای تامل و بررسی بیشتر است. در ادامه این گزارش به نظرات کارشناسانه احسان بیگ زاده، کارشناس حوزه سایبری درباره همین موضوع پرداخته شده است.

پیشینه موتور‌های جستجو و نحوه کارکرد آن‌ها

بیگ زاده در گفت‌وگو با باشگاه خبرنگاران جوان گفت: مفهوم وب از اوایل دهه ۹۰ میلادی به دنیای فناوری اطلاعات معرفی شد؛ از همان سال‌ها هم وب پیج‌ها و وبسایت‌ها معرفی شده و مورد استفاده قرار گرفتند و روز به روز بر تعداد آن‌ها افزوده می‌شد. با افزایش تعداد و حجم این وب پیج‌ها نیاز به جستجو در بین آن‌ها برای کاربران ایجاد شد و به تدریج موتور‌های جستجو ایجاد و توسعه داده شدند.

بیگ زاده افزود: موتور‌های جستجو یک پایگاه داده یا دیتا بیس دارند که باید اطلاعات وب پیج‌های موجود در دنیا درون آن‌ها قرار بگیرد تا بر اساس نیاز و درخواست کاربران درون دیتا بیس خود جستجو کنند و نتایج مطابق با درخواست کاربران را به آن‌ها ارائه دهند. در واقع موتور‌های جستجو یک پایگاه داده هستند که اطلاعات صفحات وب دنیا در درون آن ذخیره سازی شده است؛ هر چقدر این اطلاعات از صفحات بیشتر باشد نتایج جستجو هم بهتر خواهد بود.

وی سه گام مهم عملکرد موتور‌های جستجو را اینگونه تشریح کرد: موتور‌های جستجو سه کار انجام می‌دهند؛ در ابتدا یک ربات نرم افزاری با عنوان crawler یا خزنده دارند که در دنیای وب و درون سرور‌های دنیا که میزبان صفحات وب هستند، اطلاعات صفحات وب فعال در سراسر دنیا را به سمت موتور جستجو هدایت کرده و در آن ذخیره سازی می‌کنند. این گام اول است که به آن crawling گفته می‌شود. گام دوم فرایند indexing است؛ در این گام اطلاعاتی که از طریق گام اول به سمت موتور جستجو هدایت می‌شود باید در دیتا بیس طبقه بندی شود. اطلاعات دسته بندی، گزینش، پاکسازی و مرتب می‌شوند و با قوانین خاصی در درون دیتا بیس یا پایگاه داده چینش می‌شوند. در گام سوم فرایند ranking هم وجود دارد که اطلاعات رتبه بندی می‌شوند و این قابلیت وجود دارد که هنگام ارسال درخواست کاربر (query) نتایج تصادفی برای او ارسال نمی‌شود بلکه بر اساس تطابق اطلاعات با نیاز کاربر به او صفحات وب نشان داده می‌شود. با استفاده از این سه مرحله کار موتور جستجو معنا می‌یابد.

کارشناس فضای سایبری ادامه داد: ما در دنیا با میلیارد‌ها صفحه وب رو به رو هستیم که اگر قرار است یک موتور جستجو داشته باشیم باید دیتابیسی داشته باشد تا وب پیج‌ها را با استفاده از یک ربات بیابد و اطلاعات آن‌ها را فهرست کند. البته سرعت ایجاد وب پیج در دنیا بسیار بالا بوده و ممکن است در هر ساعت صد‌ها وب پیج تولید شود و شاید نتوانیم با سرعت رشد صفحات وب خودمان را تطبیق دهیم. مثلا موتور جستجوی یاهو در سال ۱۹۹۳ و رقیب آن یعنی گوگل در سال ۱۹۹۸ راه اندازی شد یعنی یاهو ۵ سال از گوگل جلوتر بود که سال‌ها تنها مرجع جستجو در اینترنت برای کاربر یاهو بود و صفحه پیشفرض مرورگر همه کاربران نیز همین موتور بود، اما به علت اینکه الگوریتم‌ها و روش‌های یاهو برای ایندکس صفحات وب کندتر از رقیبش بود، گوگل در مدت چند سال به دلیل سرعت زیادش در ذخیره کردن اطلاعات صفحات وب دنیا توانست از یاهو پیشی بگیرد و حجم ذخیره سازی‌اش از یاهو عبور کرد. نتیجه این سرعت به این موضوع منجر شد که در صورت جستجوی یک عبارت مشابه در گوگل و یاهو، گوگل نتایج بیشتری را به کاربر نشان می‌داد و این نشان دهنده غنای بیشتر پایگاه داده این جستجوگر نسبت به رقیب خود یعنی یاهو است.

بیگ زاده تصریح کرد: هرچند در ابتدا فرایند‌های دسته بندی و مرتب سازی در گوگل هم چندان قوی نبود و این موتور که حالا محبوبیت خوبی در بین کاربران دارد در سال‌های ابتدایی چندان هم محبوب نبود، اما به تدریج و پس از گذشت ۸ سال توانست به نقطه‌ای برسد که خیال کاربر را راحت کند. این موضوع نشان دهنده این نکته است که یک موتور جستجوی بومی از نقطه آغاز تا رسیدن به موفقیت مشکلات زیادی خواهد داشت.

وی در توضیح مشکلات موتور‌های جستجو برای موفقیت عنوان کرد: اگر موتور جستجویی تشکیل شود که پایگاه داده ضعیف و خالی داشته باشد و نتوانسته باشد بخش زیادی از دنیای وب را تحت پوشش ذخیره سازی خود قرار دهد به تدریج کاربر از آن موتور جستجو دلزده می‌شود.
کارشناس حوزه وب هر موتور جستجو را یک اکوسیستم زنده معرفی کرد و اظهار داشت: هر موتور جستجو باید پویایی داشته باشد و ارتباط منطقی و درست با کاربرانش برقرار کرده و رضایت آن‌ها را جلب کند؛ اینطور نیست که با دستور و خواهش، مردم به یک موتور جستجو علاقه‌مند شوند. موتور‌های جستجو بر اساس اینکه چقدر می‌توانند موفق عمل کنند اقبال عمومی را به دست می‌آورند و به عکس اقبال عمومی در موفقیت روز افزون موتور‌ها تاثیر فراوانی دارد. برای مثال در اوایل قرن ۲۰۰۰ موتور جستجویی به اسم ۳۷.com ایجاد شد که با ۳۷ موتور جستجوی مختلف قرارداد بسته بود تا اگر کاربری در آن عبارتی را جستجو می‌کند تمام پایگاه‌های داده این ۳۷ موتور جستجو مورد بررسی قرار بگیرد و نتایج به کاربر نشان داده شود. اما بعد از مدتی به دلیل نشان دادن داده‌های تصادفی به کاربر و نداشتن رنکینگ مفید، این موتور از بین رفت، زیرا تنها غنای پایگاه داده شرط موفقیت یک موتور جستجو نیست بلکه رتبه بندی سایت‌ها به عنوان گام سوم عملکرد موتور جستجو نیز در نتایج آن و به تبع اقبال عمومی از آن موثر است.

مهم‌ترین عامل تداوم حیات یک موتور جستجو چیست؟

بیگ زاده ادامه داد: مهمترین ویژگی که می‌تواند یک موتور جستجو را سرپا نگه دارد اقبال و رضایت کاربر از محصول آن است. موتور جستجو یک کسب و کار است و اگر بخواهد به صورت دولتی مدیریت شود موفق نخواهد بود، چون برای یک کسب و کار خصوصی که به دنبال درآمدزایی برای سیستم است رضایت مشتری اصل بسیار مهمی است و تمام تلاش خود را برای بروز شدن، اصلاح الگوریتم‌ها و ایجاد رضایت بیشتر بین کاربران برای سر پا ماندن خود می‌کند. همچنین با چنین فعالیتی، موتور جستجو می‌تواند هزینه هایش را خودش تامین کند و با علاقه سعی کند به رقابت سالم پرداخته و روز به روز بهتر شود.

وی افزود: موتور‌های جستجوی موفق در طول زمان به موفقیت رسیده اند و باید این واقعیت را پذیرفت.

این کارشناس حوزه وب درباره ضرورت ایجاد موتور جستجوی بومی خاطر نشان کرد: اگر به صورت آرمانی موتور جستجوی بومی داشته باشیم بسیار مفید و مثمر ثمر است، اما موتور جستجو در صورتی می‌تواند موفق باشد که پویایی ارتباط با کاربر را داشته و به عنوان یک کسب و کار موفق فعالیت کند.

برخی از موتور‌های جستجوی بومی ایرانی که در سالیان اخیر برجسته شدند

بیگ زاده گفت: به نظر می‌رسد در موضوع موتور‌های جستجوی بومی صورت مسئله برای ما ایراد دارد و درست تعریف نشده است. موتور جستجو با تعداد درخواست‌ها و مشتری هایش موفق می‌شود و اگر نتواند تعداد مخاطبانش را از یک حدی فراتر ببرد مانند بسیاری از موتور‌های جستجوی دنیا به جایی نخواهد رسید. پس یکی از مولفه ها، تعداد مشتریان و مخاطبان است.

وی دلیل موفقیت موتور‌های جستجوی خارجی را تشریح کرد و افزود: در موتور‌های جستجوی خارجی تعداد کاربرانکه از خدمات آن‌ها استفاده می‌کنند بسیار زیاد است، اما وقتی از موتور جستجوی بومی صحبت می‌کنیم یعنی ناخودآگاه تعداد مخاطبانمان را محدود به یک بوم و یک کشور کرده ایم. وقتی ایران ۸۵ میلیون نفر جمعیت دارد یعنی دایره افرادی که از این موتور استفاده می‌کنند محدود به کشور خودمان است مگر اینکه فضا طوری تعریف شود که برای جذب مخاطبان از کشور‌های خاور میانه یا فارسی زبان برنامه ریزی کرده و تعداد مخاطبان را به سطح قابل قبولی برسانیم؛ در این صورت است که می‌توان امیدوار بود این موتور جستجو بتواند به حیات خودش ادامه دهد.

این کارشناس فضای سایبری گفت: اگر کشوری مانند چین توانسته موتور جستجویی مستقل از دیگر موتور‌ها بسازد، مانند گوگل عمل کند و محبوبیت داشته باشد یکی از دلایلش این است که یک و نیم میلیارد جمعیت در چین وجود دارد، میزان افرادی که از موتور جستجو استفاده می‌کنند قابل قبول است و این آمار می‌تواند موتور جستجو را سرپا نگه دارد. همانطور که دیده می‌شود از ۲۰۴ کشور دنیا که بسیاری هم جزو کشور‌های تراز اول فناوری در دنیا هستند بازهم نتوانسته اند موتور جستجوی بومی تولید کنند، چون جمعیت کمی دارند و به راحتی امکان موفقیت نخواهد داشت.

بیگ زاده با اشاره به پروژه‌های ساخت موتور جستجو در ایران ادامه داد: با استناد به اطلاعات ارائه شده از سوی شورای عالی فضای مجازی، موتور جستجوی یوز که توسط مقامات کشور افتتاح شد ۲۰۰ سرور در اختیارش قرار گرفته، اما توانسته فقط ۴ میلیارد صفحه را ذخیره سازی کند در حالی که تعداد صفحاتی که در دنیای وب وجود دارد آن قدر زیاد است که نمی‌توان عدد دقیقی برای آن مشخص کرد. ممکن است چندین برابر این عدد صفحات وب در دنیا وجود داشته باشد که به نظر می‌رسد با این وضعیت رضایت کاربر ایجاد نخواهد شد، چون در صورت جستجو جواب‌های محدودی به کاربر داده می‌شود و وقتی فرد ببیند موتور‌های جستجوی دیگر با کیفیت بیشتری پاسخ‌های قانع کننده‌ای به او می‌دهند اقبال به سمت موتور‌های جستجوی داخلی پیدا نمی‌کند.

وی بیان کرد: متاسفانه در حال حاضر صفحه موتور جستجوی یوز غیر فعال است و پس از هزینه‌های آنچنانی و اختصاص ۲۰۰ سرور به آن، حالا حتی وبسایتش هم روشن نگه داشته نمی‌شود. اگر مولفه‌های اکوسیستم را برای یک موتور جستجو فراهم کنیم بازهم ویژگی‌هایی باید وجود داشته باشد که یک موتور بتواند سرپا بماند، خودش را اصلاح کند و به حیاتش ادامه دهد.

این کارشناس حوزه وب ادامه داد: البته نمی‌توان نتیجه گرفت که استفاده از موتور جستجوی بومی غیر منطقی است، اما باید محصولی به کاربر ارائه شود که غنا و کیفیتش با محصول نمونه مشابه خارجی رقابتی سالم، پایاپای، بدون رانت و کمک داشته باشد. باید بگذاریم خود سیستم پویا و فعال شود و کاربر با علاقه به سمت آن کشش یابد. در غیر این صورت نتیجه‌ای حاصل نخواهد شد.

ایجاد موتور جستجوی بومی، لازم یا غیر ضروری؟

بیگ زاده گفت: یکی از بحران‌هایی که در ایران در برابر کشور‌هایی مثل آمریکا با آن رو به رو هستیم این است که محتوا‌هایی بدون قید و شرط‌های مذهبی، فرهنگی و سنتی کشور ما به مخاطبان ایرانی نمایش داده می‌شود که دوست نداریم فرزندان ما به آن‌ها دسترسی داشته باشند. همانطور که در همه جای دنیا اوضاع همینطور است، اما برای ما به عنوان جوامع پایبند این قواعد از اهمیت ویژه‌ای برخوردار است. اگر فرزند ما محیط امنی داشته باشد که به همه نوع محتوایی دسترسی نداشته و بتواند با آرامش خاطر محتوای مورد نیاز خود را مطابق با قواعد فکری و اجتماعی ما جستجو کند بسیار خوب است. چنین مواردی می‌توانند شانس موفقیت داشته و موثر باشند و این موضوع می‌تواند ضرورت ایجاد موتور‌های جستجوی بومی را مشخص کند.

رمز و راز موفق شدن یک موتور جستجوی ایرانی

وی تصریح کرد: راز موفقیت یک محصول بومی در رقابت پذیری آن است و دولتی کردن چنین محصولاتی نمی‌تواند این محصولات را به موفقیت برساند. در حال حاضر هم بسیاری از محصولات بومی با محصولات مشابه خارجی رقابت می‌کنند و موفق هم هستند. باید بگذاریم یک محصول خودش به صورت زنده روی پای خودش بایستد و فعالیتش قائم به خودش باشد. اگر چنین محصولی به بازار عرضه شود می‌تواند شانس موفقیت داشته باشد.

بیگ زاده در پایان عنوان کرد: امیدواریم روزی چنین محصولی در ایران عرضه شود که بتواند کاربر خود را راضی کرده و نتایج مطلوبی را برای مردم ایران به ارمغان آورد.

همچنین در ادامه رحیمی از دیگران کارشناسان حوزه وب، ضمن تاکید بر مباحث مطرح شده قبلی، زمینه‌هایی که لازم است تا یک موتور جستجوی بومی بتواند موفق شود را تحلیل کرد و گفت: موتور جستجو در ایران در صورتی می‌تواند موثر باشد که بتواند با موتور جستجوی مرسوم در بین مردم مثل گوگل بتواند رقابت کند که ایجاد چنین فضایی در کشور کمی دور از ذهن است. بنا بر این ساخت موتور جستجوی بومی و موفق شدن آن موضوعی است که به همین راحتی نمی‌توان به آن دست یافت و مستلزم گذر زمان است.

رحیمی افزود: در حال حاضر و با شرایط کنونی موتور‌های جستجو درصورتی می‌توانند به موفقیت برسند که بر روی موضوعی شدن تمرکز کنند. یعنی کاربر بداند که برای جستجو در زمینه‌ای خاص می‌تواند به سراغ موتور جستجویی برود که به صورت اختصاصی صفحات وبی را با موضوع مورد نظرش ذخیره سازی و دسته بندی کرده و بر اساس موضوع مورد نظرش به او نتیجه نشان می‌دهد. نمونه‌های زیادی نیز از موتور‌های جستجوی موضوعی در داخل کشور داریم که به نوبه خود در این زمینه موفق عمل کرده اند.