正文

論述搜索引擎的工作原理（論述搜索引擎的工作原理及應(yīng)用）

發(fā)布時(shí)間：2023-04-19 09:25:47 稿源：創(chuàng)意嶺閱讀： 143

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于論述搜索引擎的工作原理的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來(lái)看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、簡(jiǎn)述搜索引擎的工作原理
2、搜索引擎的工作原理是什么？
3、搜索引擎工作原理
4、搜索引擎的原理

論述搜索引擎的工作原理（論述搜索引擎的工作原理及應(yīng)用）

一、簡(jiǎn)述搜索引擎的工作原理

一個(gè)搜索引擎由搜索器、索引器、檢索器和用戶接口等四個(gè)部分組成。

1.搜索器

搜索器的功能是在互聯(lián)網(wǎng)中漫游，發(fā)現(xiàn)和搜集信息。它常常是一個(gè)計(jì)算機(jī)程序，日夜不停地運(yùn)行。它要盡可能多、盡可能快地搜集各種類型的新信息，同時(shí)因?yàn)榛ヂ?lián)網(wǎng)上的信息更新很快，所以還要定期更新已經(jīng)搜集過的舊信息，以避免死連接和無(wú)效連接。目前有兩種搜集信息的策略：

● 從一個(gè)起始URL集合開始，順著這些URL中的超鏈（Hyperlink），以寬度優(yōu)先、深度優(yōu)先或啟發(fā)式方式循環(huán)地在互聯(lián)網(wǎng)中發(fā)現(xiàn)信息。這些起始URL可以是任意的URL，但常常是一些非常流行、包含很多鏈接的站點(diǎn)（如Yahoo?。?。

● 將Web空間按照域名、IP地址或國(guó)家域名劃分，每個(gè)搜索器負(fù)責(zé)一個(gè)子空間的窮盡搜索。

搜索器搜集的信息類型多種多樣，包括HTML、XML、Newsgroup文章、FTP文件、字處理文檔、多媒體信息。

搜索器的實(shí)現(xiàn)常常用分布式、并行計(jì)算技術(shù)，以提高信息發(fā)現(xiàn)和更新的速度。商業(yè)搜索引擎的信息發(fā)現(xiàn)可以達(dá)到每天幾百萬(wàn)網(wǎng)頁(yè)。

2.索引器

索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項(xiàng)，用于表示文檔以及生成文檔庫(kù)的索引表。

索引項(xiàng)有客觀索引項(xiàng)和內(nèi)容索引項(xiàng)兩種：客觀項(xiàng)與文檔的語(yǔ)意內(nèi)容無(wú)關(guān)，如作者名、URL、更新時(shí)間、編碼、長(zhǎng)度、鏈接流行度（Link Popularity）等等；內(nèi)容索引項(xiàng)是用來(lái)反映文檔內(nèi)容的，如關(guān)鍵詞及其權(quán)重、短語(yǔ)、單字等等。內(nèi)容索引項(xiàng)可以分為單索引項(xiàng)和多索引項(xiàng)（或稱短語(yǔ)索引項(xiàng)）兩種。單索引項(xiàng)對(duì)于英文來(lái)講是英語(yǔ)單詞，比較容易提取，因?yàn)閱卧~之間有天然的分隔符（空格）；對(duì)于中文等連續(xù)書寫的語(yǔ)言，必須進(jìn)行詞語(yǔ)的切分。

在搜索引擎中，一般要給單索引項(xiàng)賦與一個(gè)權(quán)值，以表示該索引項(xiàng)對(duì)文檔的區(qū)分度，同時(shí)用來(lái)計(jì)算查詢結(jié)果的相關(guān)度。使用的方法一般有統(tǒng)計(jì)法、信息論法和概率法。短語(yǔ)索引項(xiàng)的提取方法有統(tǒng)計(jì)法、概率法和語(yǔ)言學(xué)法。

索引表一般使用某種形式的倒排表（Inversion List），即由索引項(xiàng)查找相應(yīng)的文檔。索引表也可能要記錄索引項(xiàng)在文檔中出現(xiàn)的位置，以便檢索器計(jì)算索引項(xiàng)之間的相鄰或接近關(guān)系（proximity）。

索引器可以使用集中式索引算法或分布式索引算法。當(dāng)數(shù)據(jù)量很大時(shí)，必須實(shí)現(xiàn)即時(shí)索引（Instant Indexing），否則不能夠跟上信息量急劇增加的速度。索引算法對(duì)索引器的性能（如大規(guī)模峰值查詢時(shí)的響應(yīng)速度）有很大的影響。一個(gè)搜索引擎的有效性在很大程度上取決于索引的質(zhì)量。

3.檢索器

檢索器的功能是根據(jù)用戶的查詢?cè)谒饕龓?kù)中快速檢出文檔，進(jìn)行文檔與查詢的相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果進(jìn)行排序，并實(shí)現(xiàn)某種用戶相關(guān)性反饋機(jī)制。

檢索器常用的信息檢索模型有集合理論模型、代數(shù)模型、概率模型和混合模型四種。

4.用戶接口

用戶接口的作用是輸入用戶查詢、顯示查詢結(jié)果、提供用戶相關(guān)性反饋機(jī)制。主要的目的是方便用戶使用搜索引擎，高效率、多方式地從搜索引擎中得到有效、及時(shí)的信息。用戶接口的設(shè)計(jì)和實(shí)現(xiàn)使用人機(jī)交互的理論和方法，以充分適應(yīng)人類的思維習(xí)慣。用戶輸入接口可以分為簡(jiǎn)單接口和復(fù)雜接口兩種。

簡(jiǎn)單接口只提供用戶輸入查詢串的文本框；復(fù)雜接口可以讓用戶對(duì)查詢進(jìn)行限制，如邏輯運(yùn)算（與、或、非；+、-）、相近關(guān)系（相鄰、NEAR）、域名范圍（如.edu、.com）、出現(xiàn)位置（如標(biāo)題、內(nèi)容）、信息時(shí)間、長(zhǎng)度等等。

二、搜索引擎的工作原理是什么？

一個(gè)搜索引擎由搜索器、索引器、檢索器和用戶接口四個(gè)部分組成。搜索器的功能是在互聯(lián)網(wǎng) 中漫游，發(fā)現(xiàn)和搜集信息。索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項(xiàng)，用于表示文檔以及生成文檔庫(kù)的索引表。檢索器的功能是根據(jù)用戶的查詢?cè)谒饕龓?kù)中快速檢出文檔，進(jìn)行文檔與查詢的相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果進(jìn)行排序，并實(shí)現(xiàn)某種用戶相關(guān)性反饋機(jī)制。用戶接口的作用是輸入用戶查詢、顯示查詢結(jié)果、提供用戶相關(guān)性反饋機(jī)制。

搜索引擎（Search Engine）是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序從互聯(lián)網(wǎng)上搜集信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費(fèi)鏈接列表等。

三、搜索引擎工作原理

一、工具：電腦

二、操作步驟

1.抓取

讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來(lái)，被抓取的網(wǎng)頁(yè)被稱之為網(wǎng)頁(yè)快照。

論述搜索引擎的工作原理（論述搜索引擎的工作原理及應(yīng)用）

2.數(shù)據(jù)庫(kù)處理

搜索引擎抓到網(wǎng)頁(yè)后，還要做大量的預(yù)處理工作，才能提供檢索服務(wù)。其中有，網(wǎng)站數(shù)據(jù)庫(kù)，就是動(dòng)態(tài)網(wǎng)站存放網(wǎng)站數(shù)據(jù)的空間。索引數(shù)據(jù)庫(kù)，索引是對(duì)數(shù)據(jù)庫(kù)表中一列或多列的值進(jìn)行排序的一種結(jié)構(gòu)，使用索引可快速訪問數(shù)據(jù)庫(kù)表中的特定信息。簡(jiǎn)單的來(lái)說，就是把【抓取】的網(wǎng)頁(yè)放進(jìn)數(shù)據(jù)庫(kù)。

論述搜索引擎的工作原理（論述搜索引擎的工作原理及應(yīng)用）

3.分析檢索服務(wù)

搜索引擎從索引數(shù)據(jù)庫(kù)中找到匹配該關(guān)鍵詞的網(wǎng)頁(yè);

論述搜索引擎的工作原理（論述搜索引擎的工作原理及應(yīng)用）

4.對(duì)收集的結(jié)果進(jìn)行排序

把收集來(lái)的網(wǎng)頁(yè)進(jìn)行排序，把這些進(jìn)行最終的排序。

論述搜索引擎的工作原理（論述搜索引擎的工作原理及應(yīng)用）

注意事項(xiàng)：蜘蛛程序url抓取頁(yè)面--存儲(chǔ)---原始頁(yè)面。

四、搜索引擎的原理

搜索引擎原理是非常復(fù)雜的

搜索引擎的工作原理

全文搜索引擎的“網(wǎng)絡(luò)機(jī)器人”或“網(wǎng)絡(luò)蜘蛛”是一種網(wǎng)絡(luò)上的軟件，它遍歷Web空間，能夠掃描一定IP地址范圍內(nèi)的網(wǎng)站，并沿著網(wǎng)絡(luò)上的鏈接從一個(gè)網(wǎng)頁(yè)到另一個(gè)網(wǎng)頁(yè)，從一個(gè)網(wǎng)站到另一個(gè)網(wǎng)站采集網(wǎng)頁(yè)資料。它為保證采集的資料最新，還會(huì)回訪已抓取過的網(wǎng)頁(yè)。網(wǎng)絡(luò)機(jī)器人或網(wǎng)絡(luò)蜘蛛采集的網(wǎng)頁(yè)，還要有其它程序進(jìn)行分析，根據(jù)一定的相關(guān)度算法進(jìn)行大量的計(jì)算建立網(wǎng)頁(yè)索引，才能添加到索引數(shù)據(jù)庫(kù)中。我們平時(shí)看到的全文搜索引擎，實(shí)際上只是一個(gè)搜索引擎系統(tǒng)的檢索界面，當(dāng)你輸入關(guān)鍵詞進(jìn)行查詢時(shí)，搜索引擎會(huì)從龐大的數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)的索引，并按一定的排名規(guī)則呈現(xiàn)給我們。不同的搜索引擎，網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)不同，排名規(guī)則也不盡相同，所以，當(dāng)我們以同一關(guān)鍵詞用不同的搜索引擎查詢時(shí)，搜索結(jié)果也就不盡相同。

和全文搜索引擎一樣，分類目錄的整個(gè)工作過程也同樣分為收集信息、分析信息和查詢信息三部分，只不過分類目錄的收集、分析信息兩部分主要依靠人工完成。分類目錄一般都有專門的編輯人員，負(fù)責(zé)收集網(wǎng)站的信息。隨著收錄站點(diǎn)的增多，現(xiàn)在一般都是由站點(diǎn)管理者遞交自己的網(wǎng)站信息給分類目錄，然后由分類目錄的編輯人員審核遞交的網(wǎng)站，以決定是否收錄該站點(diǎn)。如果該站點(diǎn)審核通過，分類目錄的編輯人員還需要分析該站點(diǎn)的內(nèi)容，并將該站點(diǎn)放在相應(yīng)的類別和目錄中。所有這些收錄的站點(diǎn)同樣被存放在一個(gè)“索引數(shù)據(jù)庫(kù)”中。用戶在查詢信息時(shí)，可以選擇按照關(guān)鍵詞搜索，也可按分類目錄逐層查找。如以關(guān)鍵詞搜索，返回的結(jié)果跟全文搜索引擎一樣，也是根據(jù)信息關(guān)聯(lián)程度排列網(wǎng)站。需要注意的是，分類目錄的關(guān)鍵詞查詢只能在網(wǎng)站的名稱、網(wǎng)址、簡(jiǎn)介等內(nèi)容中進(jìn)行，它的查詢結(jié)果也只是被收錄網(wǎng)站首頁(yè)的URL地址，而不是具體的頁(yè)面。分類目錄就像一個(gè)電話號(hào)碼薄一樣，按照各個(gè)網(wǎng)站的性質(zhì)，把其網(wǎng)址分門別類排在一起，大類下面套著小類，一直到各個(gè)網(wǎng)站的詳細(xì)地址，一般還會(huì)提供各個(gè)網(wǎng)站的內(nèi)容簡(jiǎn)介，用戶不使用關(guān)鍵詞也可進(jìn)行查詢，只要找到相關(guān)目錄，就完全可以找到相關(guān)的網(wǎng)站（注意：是相關(guān)的網(wǎng)站，而不是這個(gè)網(wǎng)站上某個(gè)網(wǎng)頁(yè)的內(nèi)容，某一目錄中網(wǎng)站的排名一般是按照標(biāo)題字母的先后順序或者收錄的時(shí)間順序決定的）。

搜索引擎并不真正搜索互聯(lián)網(wǎng)，它搜索的實(shí)際上是預(yù)先整理好的網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)。

真正意義上的搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬(wàn)到幾十億個(gè)網(wǎng)頁(yè)并對(duì)網(wǎng)頁(yè)中的每一個(gè)詞（即關(guān)鍵詞）進(jìn)行索引，建立索引數(shù)據(jù)庫(kù)的全文搜索引擎。當(dāng)用戶查找某個(gè)關(guān)鍵詞的時(shí)候，所有在頁(yè)面內(nèi)容中包含了該關(guān)鍵詞的網(wǎng)頁(yè)都將作為搜索結(jié)果被搜出來(lái)。在經(jīng)過復(fù)雜的算法進(jìn)行排序后，這些結(jié)果將按照與搜索關(guān)鍵詞的相關(guān)度高低，依次排列。

現(xiàn)在的搜索引擎已普遍使用超鏈分析技術(shù)，除了分析索引網(wǎng)頁(yè)本身的內(nèi)容，還分析索引所有指向該網(wǎng)頁(yè)的鏈接的URL、AnchorText、甚至鏈接周圍的文字。所以，有時(shí)候，即使某個(gè)網(wǎng)頁(yè)A中并沒有某個(gè)詞比如“惡魔撒旦”，但如果有別的網(wǎng)頁(yè)B用鏈接“惡魔撒旦”指向這個(gè)網(wǎng)頁(yè)A，那么用戶搜索“惡魔撒旦”時(shí)也能找到網(wǎng)頁(yè)A。而且，如果有越多網(wǎng)頁(yè)（C、D、E、F……）用名為“惡魔撒旦”的鏈接指向這個(gè)網(wǎng)頁(yè)A，或者給出這個(gè)鏈接的源網(wǎng)頁(yè)（B、C、D、E、F……）越優(yōu)秀，那么網(wǎng)頁(yè)A在用戶搜索“惡魔撒旦”時(shí)也會(huì)被認(rèn)為更相關(guān)，排序也會(huì)越靠前。

搜索引擎的原理，可以看做三步：從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)→建立索引數(shù)據(jù)庫(kù)→在索引數(shù)據(jù)庫(kù)中搜索排序。

從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè)

利用能夠從互聯(lián)網(wǎng)上自動(dòng)收集網(wǎng)頁(yè)的Spider系統(tǒng)程序，自動(dòng)訪問互聯(lián)網(wǎng)，并沿著任何網(wǎng)頁(yè)中的所有URL爬到其它網(wǎng)頁(yè)，重復(fù)這過程，并把爬過的所有網(wǎng)頁(yè)收集回來(lái)。

建立索引數(shù)據(jù)庫(kù)

由分析索引系統(tǒng)程序?qū)κ占貋?lái)的網(wǎng)頁(yè)進(jìn)行分析，提取相關(guān)網(wǎng)頁(yè)信息（包括網(wǎng)頁(yè)所在URL、編碼類型、頁(yè)面內(nèi)容包含的關(guān)鍵詞、關(guān)鍵詞位置、生成時(shí)間、大小、與其它網(wǎng)頁(yè)的鏈接關(guān)系等），根據(jù)一定的相關(guān)度算法進(jìn)行大量復(fù)雜計(jì)算，得到每一個(gè)網(wǎng)頁(yè)針對(duì)頁(yè)面內(nèi)容中及超鏈中每一個(gè)關(guān)鍵詞的相關(guān)度（或重要性），然后用這些相關(guān)信息建立網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)。

在索引數(shù)據(jù)庫(kù)中搜索排序

當(dāng)用戶輸入關(guān)鍵詞搜索后，由搜索系統(tǒng)程序從網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)。因?yàn)樗邢嚓P(guān)網(wǎng)頁(yè)針對(duì)該關(guān)鍵詞的相關(guān)度早已算好，所以只需按照現(xiàn)成的相關(guān)度數(shù)值排序，相關(guān)度越高，排名越靠前。

最后，由頁(yè)面生成系統(tǒng)將搜索結(jié)果的鏈接地址和頁(yè)面內(nèi)容摘要等內(nèi)容組織起來(lái)返回給用戶。

搜索引擎的Spider一般要定期重新訪問所有網(wǎng)頁(yè)（各搜索引擎的周期不同，可能是幾天、幾周或幾月，也可能對(duì)不同重要性的網(wǎng)頁(yè)有不同的更新頻率），更新網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)，以反映出網(wǎng)頁(yè)內(nèi)容的更新情況，增加新的網(wǎng)頁(yè)信息，去除死鏈接，并根據(jù)網(wǎng)頁(yè)內(nèi)容和鏈接關(guān)系的變化重新排序。這樣，網(wǎng)頁(yè)的具體內(nèi)容和變化情況就會(huì)反映到用戶查詢的結(jié)果中。

互聯(lián)網(wǎng)雖然只有一個(gè)，但各搜索引擎的能力和偏好不同，所以抓取的網(wǎng)頁(yè)各不相同，排序算法也各不相同。大型搜索引擎的數(shù)據(jù)庫(kù)儲(chǔ)存了互聯(lián)網(wǎng)上幾億至幾十億的網(wǎng)頁(yè)索引，數(shù)據(jù)量達(dá)到幾千G甚至幾萬(wàn)G。但即使最大的搜索引擎建立超過二十億網(wǎng)頁(yè)的索引數(shù)據(jù)庫(kù)，也只能占到互聯(lián)網(wǎng)上普通網(wǎng)頁(yè)的不到30%，不同搜索引擎之間的網(wǎng)頁(yè)數(shù)據(jù)重疊率一般在70%以下。我們使用不同搜索引擎的重要原因，就是因?yàn)樗鼈兡芊謩e搜索到不同的內(nèi)容。而互聯(lián)網(wǎng)上有更大量的內(nèi)容，是搜索引擎無(wú)法抓取索引的，也是我們無(wú)法用搜索引擎搜索到的。

你心里應(yīng)該有這個(gè)概念：搜索引擎只能搜到它網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)里儲(chǔ)存的內(nèi)容。你也應(yīng)該有這個(gè)概念：如果搜索引擎的網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)里應(yīng)該有而你沒有搜出來(lái)，那是你的能力問題，學(xué)習(xí)搜索技巧可以大幅度提高你的搜索能力。

以上就是關(guān)于論述搜索引擎的工作原理相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。