افزایش روز افزون منابع اطلاعاتی در اینترنت و مشکلات فنی و غیرفنی موتورهای کاوش باعث شده حجم زیادی از این اطلاعات از دید کاربران پنهان بماند و به عنوان وب نامرئی مورد بحث بسیاری از متخصصان
اطلاع رسانی قرار گیرد.
امروزه گرایش بسیاری از کتابخانه ها و مراکز اطلاع رسانی و محققان به دیجیتالی کردن منابع و قراردادن آن ها در محیط اینترنت می باشد.
بعلاوه، بسیاری از این منابع تک نسخه هستند و چنانچه دسترسی مطلوب به منابع ذخیره شده در اینترنت ممکن نباشد بسیاری از میراث های علمی، پژوهشی، فکری و فرهنگی بشر به هیچ وجه مورد استفاده حال و آینده قرار نخواهد گرفت.
در این میان کتابداران و اطلاع رسانان نیز با افزایش آگاهی کاربران از وجود وب نامرئی و شیوه های دستیابی و اطلاع یابی کاربران در باب این اطلاعات، می توانند نقش مهمی را در کاستن سطح اطلاعات نامرئی بر عهده بگیرند .
دراین مقاله تلاش شده است مفهوم وب پنهان چه از دید فنی و چه از دید کاربرمدار باز شود، بدین منظور ابتدا تاریخچه ای در مورد پیدایش وب ( همچنین وب نا مرئی ) آورده شده است، سپس مهمترین ابزار های جستجو در وب شامل فهرست راهنما و موتور های جستجو آورده شده است و توضیحی درباره چگونگی ساز وکار
موتور های جستجو داده شده است.
بعد از آن مقوله وب نامرئی و اهمیت آن بررسی شده و در مورد تفاوت آن با وب مرئی از جنبه های مختلف نکاتی گفته می شود، سپس انواع وب نامرئی ، ویژگی های محتوایی وب پنهان و شیوه های اطلاع یابی در آن
گفته می شود و در نهایت در مورد وضعیت آن از گذشته تا به امروز و نیز در آینده تحلیلی انجام می شود.
آنچه گفته می شود تنها نوک کوه یخی را نشان می‌دهد.
پیوندهایی که در این مقاله به آنها اشاره می شود تنها نقطه شروعی است برای دستیابی به منابع موجود در وب نامرئی.
هرچه زمان می‌گذرد، عمق وب نیز بیشتر و بیشتر می‌شود و بنابراین بهتر است از همین حالا یاد بگیریم که چگونه از آن استفاده کنیم.
هرچه بر تنوع حجم و منابع موجود در شبکه وب افزوده می گردد، بحث جستجو و اطلاع یابی در محیط وب ابعاد و جنبه های گسترده تر و پیچیده تری به خود می گیرد.
گاهی یافتن پاسخ این پرسش در این شبکه به شکلی ساده و سریع انجام می شود و تنها به تایپ کلید واژه ای مناسب در یک موتور جستجوی آشنا مثل گوگل نیاز است.
اما همیشه اطلاع یابی در این شبکه به این سهولت نیست و معمولا به تدبیر و تامل بیشتری نیاز دارد.
با این حال گاهی با اتخاذ تمام تدابیر ممکن باز هم جستجو در وب و به ویژه از طریق موتور های کاوش عمومی نتیجه ای رضایت بخش در پی ندارد.
چنانچه منبعی مورد نظر درمحیط وب موجود باشد اما موتور های جستجو قادر به فراهم آوری امکان بازیابی آن نباشند اطلاعات مورد نظر در سایه وب پنهان / وب نامرئی مخفی مانده است.
واقعیت آن است که چالش عمده ما در حال حاضر، نبود اطلاعات نیست، بلکه دسترسی به اطلاعات مهمتر شده است.
آنهم دسترسی به اطلاعات دقیق و معتبر و در زمان مورد نیاز.
وب منبع بزرگ اطلاعاتی عصر حاضر است و تقریبا درباره هر موضوعی می توان در آن اطلاعاتی یافت.
وب راهنمایی دارد که به کاربران برای یافتن اطلاعات کمک کند.
سایتهایی وجود دارند که کاربران وب با مراجعه به آنها پاسخ سوالات خود را می یابند.
ما اینگونه سایتها را با عنوان “موتورهای جستجوگر” می شناسیم.
در حقیقت موتور جستجوگر سایتی است که کاربر وب با مراجعه به آن و نوشتن چند کلمه می تواند هزاران پاسخ برای سوال خود بیابد.
علاوه بر مراجعه به موتورهای جستجوگر یکی از راههای دیگر جستجوی اطلاعات، استفاده از “وب پنهان” است.
انواع اطلاعات موجود در اینترنت را می توان به سه دسته زیر تقسیم بندی کرد:
۱( اطلاعات رایگان و پیدا
۲( اطلاعات رایگان و ناپیدا
۳( اطلاعات تجاری
اطلاعات رایگان و پیدا اطلاعاتی هستند که در دسترس همگان قرار داده شده اند و با جستجو در موتورهای جستجوگر می توانیم آنها را بیابیم.
اطلاعات تجاری اطلاعاتی هستند که برای استفاده از آن باید مبلغی پرداخت شود.
در آخر اطلاعات رایگان و ناپیدا اطلاعاتی¬اند که نمی توانیم از طریق موتورهای جستجوگر به آنها دسترسی داشته باشیم.
تاریخچه:
افزایش روز افزون منابع اطلاعاتی و نیاز شدید افراد در دسترسی به این اطلاعات در سراسر دنیا از یک سو و در دنیای شگفت انگیز ارتباطات رایانه ای از سوی دیگر، موجب پیدایش شبکه جهانی اینترنت در اواخر دهه ۱۹۶۰ گردید.
ولی تا سال ۱۹۹۰ هیچگونه ابزاری برای کاوش اطلاعات موجود در آن وجود نداشت.
در سال ۱۹۹۰ شبکه جهانی وب در« آزمایشگاه فیزیک ذره ای اروپا » واقع در سوئیس توسط « تیم برنرزلی » ابداع شد.
پس از ابداع شبکه جهانی وب، ابزارها و موتورهای کاوش نیز پا به عرصه ظهور نهادند.
در سال ۱۹۹۰ اولین ابزار کاوش توسط «آلان امتیج» در دانشگاه «مک گیل» با عنوان «آرکی» ابداع شد.
« آرکی » از طریق نمایه سازی فایل های موجود در سایتهای اف تی پی ( پروتکل انتقال فایل )، امکان جستجو و بازیابی فایل ها در محیط اینترنت را فراهم ساخت.
اما با وجود پیشرفت ها و تحولات در حوز ه ذخیره اطلاعات در اینترنت که یکی از امتیازات بارز این پدیده جدید می باشد، باید یادآور شد که ذخیره اطلاعات به تنهایی کافی نیست، قطعًا اطلاعات تولیدشده زمانی ارزش واقعی می¬یابد که مورد استفاده قرار گیرد.
مشکلات موجود در زمینه جستجو و بازیابی اطلاعات در اینترنت باعث شده که حجم زیادی از اطلاعات ذخیره شده درآن، قابل دسترس نباشد.
(Sherman and price, 1999)
به موازات گسترش ابزارهای کاوش، پژوهش درباره جنبه های مختلف این موتور نیز شروع شد.
بیشترین مباحث مطرح شده، موضوع دامنه کاوش و میزان سودمندی و کارآیی موتورهای کاوش بوده، که در این خصوص بحث های زیادی نیز صورت گرفته، اما از موضوعاتی که کمتر مورد توجه قرار گرفته موضوع وب نامرئی می باشد.
به رغم آنکه تاکنون مقالات متعدد به زبان انگلیسی درباره وب نامرئی منتشر شده اما به روشنی معلوم نیست که چه کسی برای اولین بار این واژه را ابداع کرده است.
مرور نوشتارها حاکی از آن است که به نخستین ( وب نامرئی ) احتمال قریب به یقین گویا عبارت وب پنهان یا وب نامرئی درسال ١٩٩٤ توسط « ژیل السورث » ابداع شده است (برگمن2001,).
البته معدودی از منابع نیز شخص دیگری به نام «متیوکل» را به عنوان مبدع این اصطلاح معرفی می کنند.
(شرمن2003,)
وب پنهان یا وب نامرئی اشاره به یک مفهوم چند بعدی و گسترده دارد به شکلی که ارائه تعریفی گویا و کوتاه از آن را کمی دشوار می کند.
با این حال نام“ کریس شرمن و گری ﭘرایس ”به عنوان دو نفر از صاحب نظران اصلی دراین موضوع بیشتر از دیگران به چشم می خورد و تعریفی که آنان در سال 2001 از وب نامرئی ارائه کرده اند در اغلب منابع ذکر شده است.
از آنجا که بین وب نامرئی وموتورهای کاوش در اینترنت ارتباط تنگاتنگی وجود دارد، لازم است نخست اشار ه مختصری به سازوکار موتورهای کاوش کنیم.
ابزارهای کاوش که در وب ارایه می شود به دو گروه اصلی زیر تقسیم بندی می گردد:
• Search Engine ( موتورهای جستجو)
• Directory (فهرست راهنما )
تفاوت اصلی دو گروه اشاره شده در این است که:
اطلاعات پایگاه داده گروه اول را نرم افزارها جمع آوری می کنند، حال آنکه این کار برای گروه دوم توسط انسانها انجام می شود.
اطلاعات پایگاه داده گروه اول را نرم افزارها جمع آوری می کنند، حال آنکه این کار برای گروه دوم توسط انسانها انجام می شود.
فهرست هرگز از وجود سایت شما اطلاع نمی یابد مگر زمانی که شخصی آن را به وی معرفی نماید.
بعد از معرفی است که ویراستار آن فهرست به سایت شما مراجعه نموده، در صورت رعایت قوانین فهرست و انتخاب گروه مناسب، سایت شما را به پایگاه داده فهرست اضافه می نماید.
شما باید سایت خود را با عنوان و توضیحی مناسب به فهرست ها معرفی نمایید و بهترین گروه ممکن را برای سایت خود در نظر بگیرید.
این کار بسیار مهم است زیرا عموما فهرست ها همین عنوان و توضیح را به همراه آدرس صفحه اول سایت تان در پایگاه داده خود قرار می دهند.
اما در موتورهای جستجوگر وضع به گونه ای دیگر است؛ موتور جستجوگر می تواند از وجود سایت شما اطلاع یابد، اگر راه ورود آن فراهم شده باشد.
در واقع نرم افزار موتور جستجوگر هر لحظه در حال وبگردی و به روز رسانی اطلاع قدیمی و همینطور افزودن اطلاعات جدید به پایگاه داده موتور جستجوگر است.
فهرست راهنما ( Directory ) : فهرست راهنما یا دایرکتوری که به آن فهرست راهنما نیز گفته می شود٬ سایتی است که صفحات و سایت های مربوط به موضوعات گوناگون علمی وغیرعلمی را شناسایی و به صورت دستی دسته بندی می کند.
ازاین رو اطلاعات طبقه بندی شده درفهرست راهنما از کیفیت خوبی برخوردار است و نتایج نامربوط در بین آنها بسیار اندک می باشد.
برای ﭘذیرش یک لینک به لیست موضوعات٬ معیارها وشرایط خاصی وجود دارد اما این معیارها و شرایط برای لیست های موضوعات مختلف٬ متفاوت است.
بیشتر لیست ها دارای قابلیت جستجو هستند.
دو نوع فهرست راهنما وجود دارد: 1- فهرست های دانشگاهی وتخصصی که غالباً توسط متخصصین موضوعات مربوطه وبه منظور ﭘﺎسخگویی به نیازهای محققین ایجاد واداره می شود.
2- فهرست هایی که به صورت تجاری عمل می کنند و مخاطبانشان عموم مردم وهدفشان جذب هرچه بیشتر مراجعان می باشد.
بنابراین هنگام انتخاب فهرست راهنما باید توجه کرد که مطابق با نیاز جستجوگر باشد.
بسیاری از مردم از فهرست های راهنما استفاده کافی را نمی برند و مستقیماً به سراغ موتورهای جستجو می روند.
حال آنکه فهرست های راهنمای دانشگاهی دربرگیرنده مجموعه های به دقت انتخاب شده ای از سایت های با کیفیت بالا هستند.
هنگام جستجوی سایت های با کیفیت بالا ٬ نباید فهرست های راهنما را فراموش کرد.
نکته ای که در هنگام انتخاب فهرست های راهنما باید مورد توجه قرار گیرد٬ سیاست ها ومعیارهای ﭘذیرش سایت ها درآن فهرست راهنما است.
ضوابط ﭘذیرش سایتها درفهرست های راهنما بسیار متفاوت است و می تواند تا حد زیادی نشانگر اعتبار آن فهرست راهنما باشد.
به جرأت می توان گفت بزرگ ترین و معتبرترین فهرست راهنمای اینترنت درحال حاضر open project directory می باشد.که نشانی آن www.zdmo.org است.
بسیاری از موتورهای جستجو مانند google وaltavista در دایرکتوری خود از همین فهرست راهنما استفاده می کنند.
ازجمله فهرستهای راهنمای دیگر می توان به www.about.com و www.yahoo.com اشاره کرد.
البته yahoo مثال خوبی برای فهرست موضوعات تجاری است وهیچ گاه نباید از آن ویا دیگر راهنماهای تجاری مشابه درتحقیقات جدی ومهم استفاده کرد.
Infomine از دانشگاه کالیفرنیا نیز مثال خوبی برای فهرست های راهنمای دانشگاهی است.
موتور های جستجو: آمارها نشان می دهند که افراد بسیاری سفر در دنیای وب را با موتورهای جستجوگر آغاز می‌کنند و مراجعه به موتورهای جستجوگر چنان عادی شده است که جستجو کردن و کار با موتورهای جستجوگر، دومین فعالیت عمده کاربران در دنیای وب (بعد از ارسال و دریافت نامه های الکترونیکی) محسوب می شود.
موتورهای کاوش، نرم افزارهای کاربردی هستند که برای جستجوی منابع اطلاعاتی در اینترنت و اینترانت ها مورد استفاده قرار می گیرند.
این نرم افزارهای کاربردی، تحت شبکه و در محیط وب قابل دسترس هستند و بر اساس کلید واژه ها و عبارات مورد نظر، جستجو را بر روی یک پایگاه اطلاعاتی انجام می دهند و نتیجه را همراه با پیوندهایی به اصل موضوع ارائه می کنند.
این موتورهای جستجو با هدف سهولت دسترسی به اطلاعات ابداع گردیدند و به عنوان پایگاه اطلاعاتی، از ساختار محتوایی نوینی نسبت به پایگاه های اطلاعاتی سنتی برخوردارند.
دقت در ارایه نتایج جستجو چیزی است که کاربران وب همواره از موتورهای جستجوگر می خواهند.
اگر عبارت یکسانی در تمام موتورهای جستجوگر، جستجو شود هیچ کدام از آنها نتایج یکسانی را ارائه نمی‌دهند و با نتایج کاملا متفاوتی روبرو می‌شویم.
تفاوت در ارائه نتایج جستجو در موتورهای جستجوگر از تفاوت آنها در الگوریتم (سیستم رتبه بندی) و بایگانی(index) داده هایشان ناشی می‌شود.
حتی اگر همه آنها از بایگانی داده یکسانی نیز استفاده کنند، بازهم نتایج جستجویشان متفاوت خواهد بود.
هر موتور جستجوگری برای رده بندی صفحات وب، از الگوریتم خاصی استفاده می‌کند که منحصر به خودش بوده و فوق‌العاده محرمانه می‌باشد.
الگوریتم نیز مجموعه ای از دستورالعمل ها است که موتور جستجوگر به کمک آن تصمیم می‌گیرد که سایت ها را چگونه در خروجی‌اش مرتب کند.
حال اگر کاربری که دنبال چیزی می گردد کلماتی را جستجو کند، موتور جستجوگر در پایگاه داده ای که تشکیل داده است، ابتدا تمام صفحات مرتبط با موضوع جستجو شده را می یابد و سپس مرتبط ترین را به عنوان اولین نتیجه جستجو و بقیه صفحات را بر اساس میزان ارتباط بعد