一(yī)般說(shuō)來(lái)，在網站(zhàn)建設中，總是(shì)希望搜索引擎的(de)機(jī)器(qì)人(rén)能(néng)夠盡可(kě)能(né ng)地(dì)在網站(zhàn)內(nèi)爬行(xíng)，收錄網站(zhàn)盡可(kě)能(néng)多(duō)的(de)頁面，要(>yào)實現(xiàn)這(zhè)一(yī)點，需要(yào)在網頁設計(jì)與制(zhì)作(zuò)時(shí)盡可(kě)能(néng)照(zhào∑)顧搜索引擎Spider，避免或減少(shǎo)使用(yòng)圖片、Flash、JavaScript等。"但(dàn)是(shì)，對(duì)大(dà)多(duō)數(shù)網站(zhàn)而言，往往也(yě)存在著(zhe)部分(fēn)私密性數(shù÷)據不(bù)想公諸于衆，比如(rú)網站(zhàn)的(de)後台程序部分(fēn)，比如(rú)存放(fàng)于Internet網站(zhànγ)服務器(qì)上(shàng)的(de)企業(yè)內(nèi)部信息頁面等，對(duì)這(zhè)部分(fēn)不(εbù)希望被搜索引擎收錄的(de)內(nèi)容，應如(rú)何控制(zhì)搜索引擎Spider對γ(duì)其的(de)爬行(xíng)與索引呢(ne)？

      Matt Cutts近(jìn)日(rì)提供了(le)一(yī)Ω個(gè)控制(zhì)Googlebot索引網頁的(de)說(shuō)明(míng)，盡管他(tā)所言♦隻是(shì)針對(duì)Google，但(dàn)适用(yòng)于大(dà)多(duō)數(shù)搜索引擎，簡要(yào)歸納如(rú) 下(xià)：

       在網站(zhàn)/目錄級别，推薦使用(yòng) .htaccess文(wén)件(jiàn)來(l©ái)對(duì)網站(zhàn)的(de)私密部分(fēn)加以密碼保護，這(zhè)是(shì)最安全的(de)作(zuò)法，目前各搜索引擎的(de)Spider對(↔duì)密碼保護的(de)內(nèi)容都(dōu)是(shì)無能(néng)為(wèi)力的(de)。同時(shí)，.htaccess也(yě)可(kě)将初級的(de)入侵者拒之門(m≈én)外(wài)。不(bù)過，.htaccess文(wén)件(jiàn)隻在Unix/Linux下(xià)起作(zuò)用(yòng)，國(guó)內(nèi)流行(xí©ng)的(de)Windows 平台服務器(qì)則無法使用(yòng)這(zhè)一(yī)功能(néng)。