搜索引擎的發(fā)展史

　　1990年以前，沒有任何人能搜索互聯(lián)網(wǎng)。 所有搜索引擎的祖先，是1990年由Montreal(加拿大的蒙特利爾)的McGill University學(xué)生 Alan Emtage、Peter Deutsch、Bill Wheelan發(fā)明的Archie( Archie FAQ )。雖然當(dāng)時(shí)World Wide Web還未出現(xiàn)，但網(wǎng)絡(luò)中文件傳輸還是相當(dāng)頻繁的，由于大量的文件散布在各個(gè)分散的FTP主機(jī)中，查詢起來非常不便，因此AlanEmtage等想到了開發(fā)一個(gè)可以用文件名查找文件的系統(tǒng)，于是便有了Archie。Archie是第一個(gè)自動(dòng)索引互聯(lián)網(wǎng)上匿名FTP網(wǎng)站文件的程序，但它還不是真正的搜索引擎。Archie是一個(gè)可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然后Archie會(huì)告訴用戶哪一個(gè)FTP地址可以下載該文件。

　　由于Archie深受歡迎，受其啟發(fā)，Nevada(美國的內(nèi)華達(dá)州) System Computing Services大學(xué)于1993年開發(fā)了一個(gè)Gopher(Gopher FAQ )搜索工具Veronica(Veronica FAQ )。Jughead是后來另一個(gè)Gopher搜索工具。

　　Robot(機(jī)器人)一詞對(duì)編程者有特殊的意義。Computer Robot是指某個(gè)能以人類無法達(dá)到的速度不斷重復(fù)執(zhí)行某項(xiàng)任務(wù)的自動(dòng)程序。由于專門用于檢索信息的Robot程序象蜘蛛(spider)一樣在網(wǎng)絡(luò)間爬來爬去，因此，搜索引擎的Robot程序被稱為spider( Spider FAQ )程序。世界上第一個(gè)Spider程序，是MIT Matthew Gray 的Worldwide Web Wanderer，用于追蹤互聯(lián)網(wǎng)發(fā)展規(guī)模。剛開始它只用來統(tǒng)計(jì)互聯(lián)網(wǎng)上的服務(wù)器數(shù)量，后來則發(fā)展為也能夠捕獲網(wǎng)址(URL)。

　　與Wanderer相對(duì)應(yīng)，1993年10月 Martijn Koster 創(chuàng)建了 ALIWEB (Martijn Koster Annouces the Availability of Aliweb )，它相當(dāng)于Archie的HTTP版本。ALIWEB不使用網(wǎng)絡(luò)搜尋Robot，如果網(wǎng)站主管們希望自己的網(wǎng)頁被ALIWEB收錄，需要自己提交每一個(gè)網(wǎng)頁的簡介索引信息，類似于后來大家熟知的Yahoo。

　　隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁變得越來越困難，因此，在Wanderer基礎(chǔ)上，一些編程者將傳統(tǒng)的Spider程序工作原理作了些改進(jìn)。其設(shè)想是，既然所有網(wǎng)頁都可能有連向其他網(wǎng)站的鏈接，那么從一個(gè)網(wǎng)站開始，跟蹤所有網(wǎng)頁上的所有鏈接，就有可能檢索整個(gè)互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開始紛紛涌現(xiàn)，其中負(fù)盛名的三個(gè)是：Scotland的JumpStation、Colorado 大學(xué)Oliver McBryan的The World Wide Web Worm(First Mention of McBryan's World Wide Web Worm )、NASA的Repository-Based Software Engineering (RBSE) spider。JumpStation和WWW Worm只是以搜索工具在數(shù)據(jù)庫中找到匹配信息的先后次序排列搜索結(jié)果，因此毫無信息關(guān)聯(lián)度可言。而RBSE是第一個(gè)索引Html文件正文的搜索引擎，也是第一個(gè)在搜索結(jié)果排列中引入關(guān)鍵字串匹配程度概念的引擎。

　　Excite 的歷史可以上溯到1993年2月，6個(gè)Stanford(斯坦福)大學(xué)生的想法是分析字詞關(guān)系，以對(duì)互聯(lián)網(wǎng)上的大量信息作更有效的檢索。到1993年中，這已是一個(gè)完全投資項(xiàng)目Architext，他們還發(fā)布了一個(gè)供webmasters在自己網(wǎng)站上使用的搜索軟件版本，后來被叫做Excite for Web Servers。(注：Excite后來曾以概念搜索聞名，2002年5月，被Infospace收購的Excite停止自己的搜索引擎，改用元搜索引擎 Dogpile 。目前Excite隸屬于Ask Jeeves公司。)

　　1994年1月，第一個(gè)既可搜索又可瀏覽的分類目錄EINet Galaxy (Tradewave Galaxy)上線。除了網(wǎng)站搜索，它還支持Gopher和Telnet搜索。