什么是搜索引擎？搜索引擎的歷史

搜索引擎(Search Engine)是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序搜集互聯(lián)網(wǎng)上的信息，在對(duì)信息進(jìn)行組織和處理后顯示給用戶(hù)，為用戶(hù)提供檢索服務(wù)的系統(tǒng)。搜索引擎目前已經(jīng)成為人們上網(wǎng)的必備工具之一。

概括地說(shuō)，搜索引擎的工作方式是抓取網(wǎng)站制作頁(yè)面、處理網(wǎng)頁(yè)和提供檢索服務(wù).每個(gè)獨(dú)立的搜索引擎都有自己的網(wǎng)頁(yè)抓取程序(Spider) , Spider順著網(wǎng)頁(yè)中的超鏈接，連續(xù)地抓取網(wǎng)頁(yè)。被抓取的網(wǎng)頁(yè)被稱(chēng)為網(wǎng)頁(yè)快照。由于互聯(lián)網(wǎng)中超鏈接的應(yīng)用很普遍，理論上講，從一定范圍的網(wǎng)頁(yè)出發(fā)，就能搜集到絕大多數(shù)的網(wǎng)頁(yè)。搜索引擎抓到網(wǎng)頁(yè)后，還要做大量的預(yù)處理工作，才能提供檢索服務(wù)。其中，最重要的就是提取關(guān)鍵詞(Keywords),建立索引文件，其他的還包括去除重復(fù)網(wǎng)頁(yè)、分析超鏈接、計(jì)算網(wǎng)頁(yè)的重要度等。用戶(hù)輸人關(guān)鍵詞進(jìn)行檢索時(shí)，搜索引擎從索引數(shù)據(jù)庫(kù)中找到匹配該關(guān)鍵詞的網(wǎng)頁(yè)。為了便于用戶(hù)判斷，除了網(wǎng)頁(yè)標(biāo)題和網(wǎng)址(URL)外，還會(huì)提供一段來(lái)自網(wǎng)頁(yè)的摘要以及其他信息。

1.搜索引單的歷史

所有搜索引擎的祖先都是Archie，它是1990年由加拿大麥吉爾大學(xué)的學(xué)生Alan Emtage,Peter Deutsch和Bill Wheelan發(fā)明的。雖然當(dāng)時(shí)www還未廣泛應(yīng)用，但網(wǎng)絡(luò)中的文件傳輸還是相當(dāng)頻繁的，而且由于大量的文件散布在各個(gè)分散的FTP主機(jī)中，查詢(xún)起來(lái)非常不便，Alan Emtage等人就想開(kāi)發(fā)一個(gè)可以用文件名查找文件的系統(tǒng)，于是便有了Archie,Archie是一個(gè)可搜索的FTP文件名列表，用戶(hù)必須輸人精確的文件名進(jìn)行搜索，然后Archie會(huì)告訴用戶(hù)哪一個(gè)FTP地址可以下載該文件。因此，Archie是第一個(gè)自動(dòng)索引互聯(lián)網(wǎng)上匿名FTP網(wǎng)站文件的程序，但它還不是真正的搜索引擎。由于Archie深受歡迎，受
其啟發(fā)，美國(guó)內(nèi)華達(dá)大學(xué)的研究人員于1993年開(kāi)發(fā)了一個(gè)Gopher(Gopher FAQ)搜索工具Veronica( Veronica FAQ). J ughead是后來(lái)的另一個(gè)Gopher搜索工具。

搜索引擎一般由爬行器(Spider，機(jī)器人/蜘蛛)、索引生成器和查詢(xún)檢索器三部分組成。專(zhuān)門(mén)用于檢索信息的“機(jī)器人”程序像蜘蛛一樣在網(wǎng)絡(luò)間爬來(lái)爬去，因此搜索引擎的“機(jī)器人”程序就被稱(chēng)為“蜘蛛”程序。

世界上第一個(gè)Spider程序是麻省理工學(xué)院的Matthew Gray開(kāi)發(fā)的World Wide Web Wanderer，用于追蹤互聯(lián)網(wǎng)的發(fā)展規(guī)模.起初它只用來(lái)統(tǒng)計(jì)互聯(lián)網(wǎng)上的服務(wù)器數(shù)量，后來(lái)則發(fā)展成為也能夠捕獲URL。

1994年7月，美國(guó)卡內(nèi)基·梅隆大學(xué)的Michael Mauldin將John Leavitt的蜘蛛程序接人到其索引程序中，創(chuàng)建了Lycos。同年4月，美國(guó)斯坦福大學(xué)的博士生David Filo和美籍華人楊致遠(yuǎn)(Jerry Yang)共同創(chuàng)辦了超級(jí)目錄索引Yahoo，并成功地使搜索引擎的概念深人人心。從此搜索引擎進(jìn)人了高速發(fā)展時(shí)期。目前，互聯(lián)網(wǎng)上有名字的搜索引擎已達(dá)數(shù)百個(gè)，其檢索的信息量也與從前不可同日而語(yǔ).以Google為例，其數(shù)據(jù)庫(kù)中存放的網(wǎng)頁(yè)已達(dá)30億之巨!

2.幾個(gè)搜索引攀簡(jiǎn)介

下面簡(jiǎn)要介紹幾個(gè)常用的搜索引擎。

(1)Google

Google搜索引擎的界面如圖6-18所示。Google原來(lái)只是斯坦福大學(xué)的一個(gè)小項(xiàng)目BackRub. 1995年博士生Larry Page開(kāi)始學(xué)習(xí)搜索引擎設(shè)計(jì)，并于1997年9月15日注冊(cè)T google. com域名。1997年底，在Sergey Brin,Scott Hassan和Alan Steremberg的共同參與下，BachRub開(kāi)始提供Google的演示版。1999年2月，Google完成T從Alpha版到Beta版的蛻變。

Google在Page rank、動(dòng)態(tài)摘要、網(wǎng)頁(yè)快照、Daily refresh、多文檔格式支持、地圖股票詞典尋人等集成搜索、多語(yǔ)言支持、用戶(hù)界面等功能上的革新，持久地改變了搜索引擎的定義.2006年新版的《韋氏大學(xué)辭典》中收錄了100多個(gè)新詞。在這本一向以保守、嚴(yán)肅著稱(chēng)的辭典中，收錄了互聯(lián)網(wǎng)搜索引擎Google，意思是“在互聯(lián)網(wǎng)上迅速地查找信息”。

(2)百度

目前，百度(www. baidu. com)是全球最大的中文搜索引擎，其界面如圖6-19所示.2000年1月，前Infoseek資深工程師李彥宏與好友徐勇(加州大學(xué)伯克利分校博士后)在北京中關(guān)村創(chuàng)立了百度(Baidu)公司。2000年5月，百度開(kāi)始為門(mén)戶(hù)網(wǎng)站(如搜狐、新浪等)提供搜索技術(shù)服務(wù)，之后發(fā)布Baidu. com搜索引擎Beta版，開(kāi)始獨(dú)立提供搜索服務(wù)。
(3) Alltheweb

誕生于1999年5月的Alltheweb是一個(gè)優(yōu)秀的全文搜索引擎，除了搜索常規(guī)網(wǎng)頁(yè)外，也能搜索新聞、圖片、視頻、音頻等內(nèi)容，其目標(biāo)是做世界上最大、最快的搜索引擎，其界面如圖6-20所示。


(4) Ask. Com


Ask. Com是以提問(wèn)方式進(jìn)行搜索的搜索引擎，用戶(hù)可以輸人一個(gè)問(wèn)題，搜索得到想要的答案，其界面如圖6-21所示.

3.搜索引的分類(lèi)

搜索引擎常分為全文索引引擎、目錄索引和元搜索引擎三類(lèi)。

(1)全文搜索引擎

全文搜索引擎是名副其實(shí)的搜索引擎，國(guó)外的代表有Google，國(guó)內(nèi)則有百度。它們從互聯(lián)網(wǎng)提取各個(gè)網(wǎng)站的信息(以網(wǎng)頁(yè)文字為主)，建立起數(shù)據(jù)庫(kù)，并能檢索與用戶(hù)查詢(xún)條件相匹配的記錄，按一定的排列順序返回結(jié)果。

根據(jù)搜索結(jié)果來(lái)源的不同，全文搜索引擎可分為兩類(lèi)，一類(lèi)擁有自己的檢索程序，即“蜘蛛”程序或“機(jī)器人”程序，能自建網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，搜索結(jié)果直接從自建的數(shù)據(jù)庫(kù)中調(diào)用，上面提到的Google和百度就屬于此類(lèi);另一類(lèi)則是租用其他搜索引擎的數(shù)據(jù)庫(kù)，并按自定的格式排列搜索結(jié)果，如Lycos搜索引擎。

(2)目錄索引

顧名思義，目錄索引就是將網(wǎng)站分門(mén)別類(lèi)地存放在相應(yīng)的目錄(Directory)中，因此用戶(hù)在查詢(xún)信息時(shí)，可選擇關(guān)鍵詞搜索，也可按分類(lèi)目錄逐層查找.如果以關(guān)鍵詞搜索，則返回的結(jié)果與全文搜索引擎一樣，也是根據(jù)信息關(guān)聯(lián)程度排列網(wǎng)站(其中的人為因素要多一些)。

如果按分層目錄查找，某一目錄中網(wǎng)站的排名則由標(biāo)題字母的先后順序決定(也有例外)。

與全文搜索引擎相比，目錄索引有許多不同之處。

首先，全文搜索引擎屬于自動(dòng)網(wǎng)站檢索，而目錄索引的建立則完全依賴(lài)手工操作。用戶(hù)提交網(wǎng)站后，目錄編輯人員會(huì)親自瀏覽用戶(hù)的網(wǎng)站，然后根據(jù)一套自定的評(píng)判標(biāo)準(zhǔn)甚至編輯人員的主觀印象，決定是否接納用戶(hù)的網(wǎng)站。其次，搜索引擎收錄網(wǎng)站時(shí)，只要網(wǎng)站本身沒(méi)有違反有關(guān)的規(guī)則，一般都能登錄成功.而目錄索引對(duì)網(wǎng)站的要求則要高得多，有時(shí)即使登錄多次也不一定能成功。此外，在登錄搜索引擎時(shí)，人們一般不用考慮網(wǎng)站的分類(lèi)問(wèn)題，而登錄目錄索引時(shí)則必須將網(wǎng)站放在一個(gè)最合適的目錄中。最后，全文搜索引擎中各網(wǎng)站的有關(guān)信息都是從用戶(hù)網(wǎng)頁(yè)中自動(dòng)提取的，所以用戶(hù)擁有更多的自主權(quán);而目錄索引則要求必須手工另外填寫(xiě)網(wǎng)站信息，而且還有各種各樣的限制。更有甚者，如果工作人員認(rèn)為用戶(hù)提交的網(wǎng)站目錄、網(wǎng)站信息不合適。他可以隨時(shí)對(duì)其進(jìn)行調(diào)整，當(dāng)然事先是不會(huì)和用戶(hù)商量的。目前，搜索引擎與目錄索引有相互融合滲透的趨勢(shì)。原來(lái)一些純粹的全文搜索引擎現(xiàn)在也提供目錄搜索，如Google就借用Open Directory目錄提供分類(lèi)查詢(xún)。而像Yahoo!這些老牌目錄索引則通過(guò)與Google等搜索引擎合作擴(kuò)大搜索范圍。

(3)元搜索引擎

元搜索引擎(Meta Search Engine)接收用戶(hù)的查詢(xún)請(qǐng)求后，同時(shí)在多個(gè)搜索引擎上搜索，并將結(jié)果返回給用戶(hù)。著名的元搜索引擎有InfoSpace,Dogpile, Vivisim。等，中文元搜索引擎的典型代表是搜星搜索引擎。在搜索結(jié)果排列方面，有的直接按來(lái)源排列搜索結(jié)果，如Dogpile，有的則按自定的規(guī)則將結(jié)果重新排列組合，如Vivisimo,目前搜索引擎正處于高速發(fā)展的階段，各主要大型搜索引擎都是基于分布式計(jì)算的。

簡(jiǎn)單地說(shuō)，分布式系統(tǒng)就是由多臺(tái)服務(wù)器共同協(xié)作組成的系統(tǒng)，從而能夠檢索海量信息。以Google為例，它由上萬(wàn)臺(tái)服務(wù)器組成，以提供較好的檢索性和抗壓性.抗壓性是指在一個(gè)幾秒鐘的時(shí)間段內(nèi)，服務(wù)器處理大量并發(fā)請(qǐng)求的能力。

現(xiàn)在搜索引擎技術(shù)的主要發(fā)展空間在搜索的準(zhǔn)確度上，除了傳統(tǒng)的網(wǎng)頁(yè)排序算法(指對(duì)搜索結(jié)果進(jìn)行排序的規(guī)則)，如Page rank, Hill top等，也與自然語(yǔ)言的研究進(jìn)展密切相關(guān)。