編者按：前兩周簡(jiǎn)要介紹了搜索和捕獲系統(tǒng)的工作原理。根據(jù)工作原理，我們簡(jiǎn)要介紹如何根據(jù)搜索引擎爬行系統(tǒng)建立網(wǎng)站。

1.簡(jiǎn)單直接的網(wǎng)站結(jié)構(gòu)

蜘蛛爬行相當(dāng)于遍歷Web的有向圖，因此簡(jiǎn)單而清晰的網(wǎng)站結(jié)構(gòu)絕對(duì)是它所喜歡的，并嘗試確保蜘蛛的可讀性。

（1）樹(shù)結(jié)構(gòu)的結(jié)構(gòu)是“頁(yè)面 - 頻道 - 詳細(xì)信息頁(yè)面”;

（2）平面頁(yè)面到詳細(xì)頁(yè)面的級(jí)別盡可能小，對(duì)爬行和良好都很友好。

（3）網(wǎng)格保證每個(gè)頁(yè)面至少有一個(gè)文本鏈接指向，這樣可以盡可能全面地捕獲和收集網(wǎng)站，內(nèi)鏈結(jié)構(gòu)也可以對(duì)排序產(chǎn)生積極影響。

（4）導(dǎo)航為每個(gè)頁(yè)面添加導(dǎo)航以方便用戶(hù)知道路徑。

（5）子域名和目錄選擇我認(rèn)為有大量網(wǎng)站管理員對(duì)此表示懷疑。我們認(rèn)為，當(dāng)內(nèi)容較小且內(nèi)容相關(guān)性較高時(shí)，建議以目錄的形式實(shí)現(xiàn)，這有利于權(quán)重的繼承和收斂。當(dāng)內(nèi)容很大并且與主站的相關(guān)性稍差時(shí)，建議以子域的形式實(shí)現(xiàn)它。

2，簡(jiǎn)單而美觀的網(wǎng)址規(guī)則

（1）性別網(wǎng)站中的相同內(nèi)容頁(yè)面僅對(duì)應(yīng)一個(gè)網(wǎng)址，過(guò)多的網(wǎng)址形式會(huì)分散網(wǎng)頁(yè)的權(quán)重，目標(biāo)網(wǎng)址可能會(huì)在系統(tǒng)中被過(guò)濾;

（2）盡量減少動(dòng)態(tài)參數(shù)，確保網(wǎng)址盡可能短;

（3）美學(xué)使用戶(hù)和機(jī)器能夠通過(guò)URL確定頁(yè)面內(nèi)容的內(nèi)容;

我們建議使用以下形式的url：url盡可能短且易于閱讀，以便用戶(hù)可以快速理解，例如，使用拼音作為目錄名稱(chēng);系統(tǒng)中相同的內(nèi)容只生成對(duì)應(yīng)的url，刪除無(wú)意義的參數(shù);如果網(wǎng)址無(wú)法保證性別，請(qǐng)嘗試將不同形式的url301設(shè)為目標(biāo)網(wǎng)址;防止用戶(hù)將錯(cuò)誤的備用域名301輸入主域名。

3.其他說(shuō)明

（1）不要忽視不幸的機(jī)器人文件。默認(rèn)情況下，搜索引擎會(huì)阻止某些系統(tǒng)機(jī)械手。創(chuàng)建網(wǎng)站時(shí)，請(qǐng)及時(shí)檢查并寫(xiě)入相應(yīng)的機(jī)器人文件。 網(wǎng)站還應(yīng)注意日常維護(hù)中的定期檢查; p>

（2）創(chuàng)建一個(gè)網(wǎng)站sitemap文件，一個(gè)死鏈文件，并通過(guò)百度網(wǎng)站管理員平臺(tái)及時(shí)提交;

（3）一些電子商務(wù)網(wǎng)站存在地理跳躍問(wèn)題。建議貨物缺貨并制成單頁(yè)。該頁(yè)面標(biāo)記為缺貨。如果此區(qū)域中沒(méi)有商品，請(qǐng)勿返回?zé)o效頁(yè)面。由于蜘蛛的出口有限。性別將導(dǎo)致正常頁(yè)面不公開(kāi)。

（4）網(wǎng)站管理員平臺(tái)提供的機(jī)器人，站點(diǎn)地圖，索引量，爬行壓力，死鏈提交，網(wǎng)站修訂等的合理使用。