کیفیت خروجی های اینترنت
جاکوب (1995) فهرستی از معیارها را برای ارزیابی موتورهای کاوش فرآهم آورده است. به نظر او، یک موتور کاوش ایدهآل باید:
هیچیک از موتورهای کاوش موجود نتوانستهاند، و بعید است که بتوانند، همه این نیازمندیها را برآورده نمایند.
تحقیقات متعددی درباره ارزیابی یا مقایسه موتورهای کاوش انجام یا گزارش شده است. در این تحقیقات، به تعداد فراوانِ مدارک بازیابی شده، حتی در جستجوهای تخصصی، بیش از هر چیز دیگری اشاره شده است. مثلاً فالک (1997)، از طریق جستجوی اطلاعات درباره بیماری کرون دریافت که کلیدواژه “کرون – بسته به موتور کاوش مورد استفاده – به تنهایی بین 500 تا 6000 مدرک را بازیابی میکند. ترکیب واژه کرون با کلمه دارو یا جراحی در موتورهای بزرگتر کاوش، هنوز 1000 یا بیش از 1000 مدرک را بازیابی میکرد. انجام یک جستجو با واژه کرون در موتور کاوش آلتاویستا، 800 مدرک را بازیابی کرد گرچه دامنه جستجو به جدیدترین ماه نیز محدود شده بود
اسکیلز و فلت (1995)، کونت (1996)، کیمل (1996)، وندیتو (1996)، پفافنبرگر(1996)، چو و روزنتال (1996)، دینگ و مارچیونی نی (1996)، واتسون و دیگران (1996)، دونگ و سو (1997) و نیکلسون (1997) نیز توانایی های موتورهای کاوش را اندازه گیری کرده اند اما حاصل بررسی های آنها به سرعت تغییر خواهد کرد؛ هرچند اطلاعات هر نوع اثر در هنگام انتشار نیز کمی قدیمی شده است. نیکلسون نیز ویژگی هایی را توصیف کرده است که یک موتور کاوش مناسب باید دربر داشته باشد.
– آنچه برای ما که در حدود سی سال یا بیشتر است در حوزه بازیابی اطلاعات کار می کنیم بسیار شگفت به نظر می رسد، گرایش به استفاده از ابزارهایی است که حتی در جستجوهای بسیار خاصی نیز هزاران مدرک را بازیابی میکنند. تقریبا نیمی از این نتایج کاملا نامرتبط ، با کیفیتی پایین یا زائد (مدارک یا اطلاعات تکراری) خواهند بود. نمونه ای عالی از چنین وضعیتی در منابع تبلیغی آلتاویستا رخ داده است که به یک جستجو درباره موضوع زبان سرخ پوستى اشاره دارد