【前言】

　　應(yīng)朋友們的要求，我還是寫(xiě)一篇關(guān)于服務(wù)器日志法進(jìn)行網(wǎng)站分析的原理以及它的優(yōu)缺點(diǎn)是什么。請(qǐng)朋友們注意，網(wǎng)站服務(wù)器日志法并不容易進(jìn)行，初學(xué)者，以及在絕大多數(shù)情況下，進(jìn)行以用戶行為分析為核心的網(wǎng)站分析，用不到服務(wù)器日志法。不過(guò)，作為網(wǎng)站分析歷史不可分割的一部分以及重要的基礎(chǔ)篇章，服務(wù)器日志法仍然值得一書(shū)。下面的這篇文章也是我要撰寫(xiě)的書(shū)中截取的內(nèi)容（我要快馬加鞭快快寫(xiě)了，已經(jīng)辜負(fù)了太多朋友的重托，抱歉抱歉！）。

     【正文】

　　網(wǎng)站分析收集數(shù)據(jù)的方式其實(shí)有五、六種之多，我們最常見(jiàn)的有三種，分別是：服務(wù)器日志（Server Log）、頁(yè)面標(biāo)記（Page Tag）和客戶端監(jiān)測(cè)軟件收集（Client End/Desktop）。我的CWA博客（http://www.chinawebanalytics.cn）中主要講解的都是頁(yè)面標(biāo)記法，今天則跟大家講解一下服務(wù)器日志方法的原理及優(yōu)缺點(diǎn)。

      1. 服務(wù)器日志是什么

　　真正意義上的網(wǎng)站分析是從服務(wù)器日志開(kāi)始的，而且直到今天，分析服務(wù)器（也稱為server log file，或簡(jiǎn)稱log file）日志仍然是網(wǎng)站分析的重要方法。

　　這里的服務(wù)器指的是網(wǎng)站服務(wù)器（Web Server），而服務(wù)器日志跟飛機(jī)的黑匣子一樣，是用來(lái)記錄網(wǎng)站服務(wù)器的運(yùn)行信息的，或者簡(jiǎn)單說(shuō)，是用來(lái)記錄服務(wù)器中的什么頁(yè)面在什么時(shí)候被誰(shuí)訪問(wèn)了。例如，如果你訪問(wèn)一次我的網(wǎng)站：http://www.chinawebanalytics.cn，那么一般情況下，網(wǎng)站服務(wù)器的日志就會(huì)記錄在某時(shí)某刻來(lái)自某個(gè)IP的訪問(wèn)者索引了網(wǎng)頁(yè)“/index.php”。當(dāng)然，網(wǎng)站服務(wù)器日志還會(huì)記錄其他許多內(nèi)容，這些內(nèi)容能夠幫助我們分析網(wǎng)站的流量和訪問(wèn)者在網(wǎng)站上的行為。

　　下面這個(gè)圖說(shuō)明了網(wǎng)站日志是如何產(chǎn)生的。當(dāng)用戶訪問(wèn)一個(gè)網(wǎng)站的時(shí)候，事實(shí)上是訪問(wèn)這個(gè)網(wǎng)站的某一個(gè)具體的頁(yè)面，我們假設(shè)這個(gè)頁(yè)面叫Page 1。這時(shí)，我們的這個(gè)訪問(wèn)行為會(huì)請(qǐng)求服務(wù)器中Page 1的實(shí)際的文件，隨之把這個(gè)文件下載到瀏覽器上。由于請(qǐng)求和下載行為都會(huì)引起服務(wù)器的響應(yīng)和相應(yīng)的行動(dòng)，因此就有必要記錄下服務(wù)器的這些行動(dòng)。

　　你會(huì)問(wèn)，為什么需要記錄服務(wù)器的行動(dòng)呢？原因很簡(jiǎn)單，因?yàn)槲覀儾幌胱屵@個(gè)服務(wù)器變成“哈爾9000”（哈爾9000是庫(kù)布里克《2001太空奧德賽》里面有了自我意識(shí)的電腦，它直接威脅到了電影中的宇航員）啊！這當(dāng)然只是開(kāi)玩笑，不過(guò)目的并無(wú)差別，就是能夠通過(guò)服務(wù)器日志，對(duì)服務(wù)器的運(yùn)行歷史進(jìn)行記錄，這樣當(dāng)有任何異常情況發(fā)生的時(shí)候，我們都能夠通過(guò)日志探尋問(wèn)題發(fā)生的原因——跟記錄飛機(jī)運(yùn)行狀態(tài)的黑匣子的作用十分類似。

　　原理看起來(lái)并不復(fù)雜，不過(guò)log file實(shí)際上并不簡(jiǎn)單。為了讓log file具有可讀性，log file并不可以按照各個(gè)網(wǎng)站所有者的喜好隨意記錄的，而是有自己的規(guī)范。W3C組織定義了server log file的通用格式（如果你有興趣，可以在這里看看這些格式都是如何定義的：http://www.w3.org/Daemon/User/Config/Logging.html#common_logfile_format），而其他一些組織或者個(gè)人又根據(jù)自己的需要額外擴(kuò)展了這個(gè)格式，使log file能夠比較全面地記錄網(wǎng)站服務(wù)器進(jìn)行的各種活動(dòng)。

　　一條標(biāo)準(zhǔn)的web server log記錄通常包含如下信息：

• l 遠(yuǎn)程主機(jī)（Remote Host）的IP地址/名字
• l 登錄名（Log Name）
• l 登錄全名（Full Name）
• l 請(qǐng)求發(fā)生的日期（Date）
• l 請(qǐng)求發(fā)生的時(shí)間（Time）
• l 和標(biāo)準(zhǔn)格林威治時(shí)間的差值（GMT Offset）
• l 請(qǐng)求的方法（Request Method）
• l 請(qǐng)求的文件的地址（File）
• l 請(qǐng)求遵守的協(xié)議（Protocol）
• l 請(qǐng)求的狀態(tài)（Status）
• l 被請(qǐng)求文檔的長(zhǎng)度（Length）

　　下面是一條標(biāo)準(zhǔn)的log file記錄：

202.71.113.38 – - [03/Jan/2010:01:56:12 +0800] "GET /Chinawebanalytics/Sidney.htm HTTP/1.0" 200 5122

　　從左到右，202.71.113.38就是遠(yuǎn)程主機(jī)的IP；而登錄名和登錄全名指的是發(fā)起這個(gè)請(qǐng)求的用戶的名字，這個(gè)一般大家當(dāng)然是不想要透露的了，所以遠(yuǎn)程主機(jī)會(huì)禁止給出這兩個(gè)信息，log file當(dāng)然就記錄不下來(lái)了，用兩個(gè)短中劃線代替。然后，03/Jan/2010是請(qǐng)求發(fā)生的日期，01:56:12則是時(shí)間，之后的+0800是指比格林威治時(shí)間要晚8個(gè)小時(shí)，就是我們北京時(shí)間了。再之后的GET是請(qǐng)求的方法，另一種方法是POST，可以簡(jiǎn)單理解為GET就是索取，POST就是提交。接著：/Chinawebanalytics/Sidney.htm是被請(qǐng)求文件的地址，可以是絕對(duì)地址也可以是相對(duì)地址。HTTP/1.0是請(qǐng)求所遵守的協(xié)議，這里的協(xié)議是HTTP 1.0。整個(gè)記錄的結(jié)尾是兩個(gè)數(shù)字，其中200表示一種請(qǐng)求的狀態(tài)，意思是請(qǐng)求一切正常。有時(shí)候這個(gè)數(shù)字會(huì)顯示為404，相信大家一看到這個(gè)數(shù)字就頭痛，它表示請(qǐng)求的文件無(wú)法找到（file not found）；又有時(shí)候，這個(gè)數(shù)字會(huì)顯示為301，表示頁(yè)面被重新定向到了別的地址。最后的一個(gè)數(shù)字5593，表示所請(qǐng)求的文檔的長(zhǎng)度為5122 bytes。

　　通用格式其實(shí)很簡(jiǎn)單，但是里面的這11類記錄往往不足夠幫助我們進(jìn)行更深入的分析，因此其他的一些記錄被加入進(jìn)來(lái)，其中最重要的一些是：

• l 請(qǐng)求來(lái)源（Referrer）：指連接到被請(qǐng)求資源的網(wǎng)站的URL。如果請(qǐng)求時(shí)通過(guò)點(diǎn)擊一個(gè)鏈接時(shí)發(fā)生，那么這個(gè)項(xiàng)目就會(huì)被記錄；
• l 客戶端（User Agent）：記錄用戶的瀏覽器或者發(fā)出請(qǐng)求的程序的相關(guān)信息；
• l 所需時(shí)間（Time Taken）：從請(qǐng)求的發(fā)出到請(qǐng)求的資源全部傳輸完畢所需花費(fèi)的時(shí)間；
• l Cookie。關(guān)于cookie的內(nèi)容請(qǐng)大家看我的這篇文章：捍衛(wèi)Cookie——沒(méi)有Cookie，我們什么都沒(méi)有了。

　　看起來(lái)，網(wǎng)站服務(wù)器日志所記錄的內(nèi)容是很有限的，比起我們動(dòng)輒上萬(wàn)行的編程實(shí)在是九牛一毛。但是，千萬(wàn)別認(rèn)為網(wǎng)站服務(wù)器日志文件會(huì)很小，對(duì)于一些大網(wǎng)站，每分每秒都有很多訪問(wèn)者對(duì)網(wǎng)站服務(wù)器進(jìn)行請(qǐng)求，所以日志文件會(huì)積少成多，成為巨型的數(shù)據(jù)文件。有時(shí)候，一個(gè)小時(shí)的記錄就能超過(guò)數(shù)G。什么，你網(wǎng)站的服務(wù)器日志一個(gè)月才1M？要加油啊，沒(méi)有人氣的網(wǎng)站可沒(méi)有生命力。

　　講到這兒，該說(shuō)說(shuō)歷史了。網(wǎng)站分析就是從網(wǎng)站服務(wù)器日志開(kāi)始的，或者更準(zhǔn)確的說(shuō)，網(wǎng)站服務(wù)器日志自誕生之日起，就是為網(wǎng)站分析所用的。最早，人們可是把所有的記錄都拿出來(lái)，然后導(dǎo)入到數(shù)據(jù)軟件中去進(jìn)行分析，辛苦程度自不用說(shuō)；但這個(gè)痛苦的階段不會(huì)持續(xù)太久，哪兒有痛苦，哪兒就有生意，所以網(wǎng)站日志分析軟件就出現(xiàn)了，解決了很大的問(wèn)題，以至于大小互聯(lián)網(wǎng)服務(wù)提供商（ISP）們都為租用他們空間的用戶提供一款免費(fèi)的網(wǎng)站日志分析軟件。盡管如此，分析網(wǎng)站日志一直都是一個(gè)相當(dāng)不容易的事情，所以，人們不得不尋找一些更便利的方法，這樣便發(fā)明了網(wǎng)站分析的新的數(shù)據(jù)獲取方法，這是后話了。

　　如果你問(wèn)我什么情況下選擇用網(wǎng)站服務(wù)器日志來(lái)進(jìn)行網(wǎng)站分析，我建議你如非必須，那么還是尋找一些更容易的方法能夠事半功倍。看看后面的內(nèi)容，你就能知道我為什么這么說(shuō)。

      2. 用網(wǎng)站服務(wù)器日志進(jìn)行網(wǎng)站分析的優(yōu)點(diǎn)

　　盡管是個(gè)技術(shù)活，但是利用網(wǎng)站服務(wù)器日志進(jìn)行網(wǎng)站分析還是有不少好處的。

      1. 網(wǎng)站服務(wù)器的日志是被你完全掌控的數(shù)據(jù)。

　　所謂放在自己手心最放心，這些日志在你的服務(wù)器中，如果不是黑客入侵，數(shù)據(jù)不可能被你不希望的人獲取。而且，只要你不刪除，它們永遠(yuǎn)都在那里，在任何時(shí)候你都可以回溯歷史數(shù)據(jù)，無(wú)論這些數(shù)據(jù)有多么久遠(yuǎn)。有朝一日，你的網(wǎng)站大獲成功，這些日志也是一份奮斗歷史的見(jiàn)證。

      2. 能夠記錄機(jī)器人/自動(dòng)程序?qū)W(wǎng)站的訪問(wèn)。

　　其次，前面講過(guò)，網(wǎng)站服務(wù)器的日志是記錄網(wǎng)站服務(wù)器行為的，因此任何服務(wù)器響應(yīng)的請(qǐng)求都會(huì)被記錄下來(lái)。這些響應(yīng)可能是應(yīng)答用戶發(fā)出的請(qǐng)求，也完全可能是應(yīng)答一些互聯(lián)網(wǎng)上自動(dòng)程序發(fā)出的請(qǐng)求。最常見(jiàn)的一種互聯(lián)網(wǎng)上的自動(dòng)程序是搜索引擎的機(jī)器人，例如Google的Googlebot，這意味著網(wǎng)站服務(wù)器日志能夠用來(lái)分析搜索引擎的訪問(wèn)，并幫助我們優(yōu)化搜索引擎對(duì)網(wǎng)站的訪問(wèn)。講到這里，請(qǐng)大家注意，并不是每一種網(wǎng)站分析方法都能做到這一點(diǎn)，我們最常用的為網(wǎng)站頁(yè)面加入標(biāo)簽的方法是不能獲取搜索引擎流量的。

      3. 終端無(wú)關(guān)

　　網(wǎng)站服務(wù)器的日志能夠記錄網(wǎng)站服務(wù)器全部響應(yīng)行為的特點(diǎn)還延伸出另外一個(gè)優(yōu)點(diǎn)，那就是無(wú)論是何種終端訪問(wèn)服務(wù)器，都能把相關(guān)數(shù)據(jù)記錄下來(lái)。現(xiàn)在，能夠訪問(wèn)網(wǎng)站的終端越來(lái)越多了，我無(wú)聊的時(shí)候也試著用Sony的PSP上網(wǎng)，用手機(jī)的GPRS也能輕松的瀏覽網(wǎng)頁(yè)，這些形形色色的終端的訪問(wèn)，服務(wù)器日志都會(huì)忠實(shí)的記錄，但頁(yè)面加入標(biāo)簽的方法就可能完全行不通。

      4. 能夠探知文件是否完全下載

　　日志方法的另一個(gè)好處是能夠記錄文件下載的情況。如果你在網(wǎng)上下載一個(gè)MP3音樂(lè)，你在發(fā)出這個(gè)響應(yīng)的時(shí)候，日志會(huì)記錄一個(gè)狀態(tài)；你在下載完全的時(shí)候，日志照樣會(huì)記錄一個(gè)狀態(tài)；如果你沒(méi)有下載完全，日志還是會(huì)記錄下來(lái)。這個(gè)，我想對(duì)那些提供下載服務(wù)的網(wǎng)站很有用。

      5. 數(shù)據(jù)獲取不依賴于第三方

　　通過(guò)日志獲取數(shù)據(jù)本身不需要額外的第三方的幫助。只要你的服務(wù)器在運(yùn)轉(zhuǎn)，日志就會(huì)源源不斷的被創(chuàng)建、保存。不過(guò)，請(qǐng)注意，這里我所指的是數(shù)據(jù)的獲取不需要額外的支持，但是數(shù)據(jù)的分析一般而言，還是需要第三方的幫助的。直接去用肉眼讀日志文件中的數(shù)據(jù)進(jìn)行分析是不可想象的。

      6. 不怕防火墻

　　最后，日志方法不懼怕防火墻或客戶端安全軟件的屏蔽，因?yàn)閿?shù)據(jù)都是從服務(wù)器端獲取的。

　　看起來(lái)似乎不錯(cuò)，不過(guò)凡事有利有弊，日志方法也肯定有它不能克服的不足。

      3. 用網(wǎng)站服務(wù)器日志方法進(jìn)行網(wǎng)站分析的缺點(diǎn)

　　日志方法能夠起到作用的前提是服務(wù)器要響應(yīng)來(lái)自客戶端的請(qǐng)求，如果客戶端的請(qǐng)求不通過(guò)服務(wù)器就得到了響應(yīng)（這其實(shí)是經(jīng)常發(fā)生的），那么服務(wù)器日志法就無(wú)能為力了。

      1. 害怕網(wǎng)頁(yè)緩存（Cache）

　　為了提高網(wǎng)站頁(yè)面的載入速度，人們發(fā)明了網(wǎng)頁(yè)緩存（Cache）。在臺(tái)灣，Cache被翻譯作“快取”，似乎兼?zhèn)淞艘袅x。

　　網(wǎng)頁(yè)緩存的原理很容易理解，但卻是個(gè)了不起的發(fā)明。在緩存出現(xiàn)之前，人們?cè)L問(wèn)網(wǎng)站每次都需要把網(wǎng)頁(yè)從網(wǎng)站的服務(wù)器傳輸?shù)娇蛻舳说臑g覽器中，這個(gè)速度當(dāng)然會(huì)有點(diǎn)兒慢，尤其是網(wǎng)絡(luò)條件不好的時(shí)候。于是善動(dòng)腦筋的人們發(fā)現(xiàn)，每次訪問(wèn)的網(wǎng)站其實(shí)有很多內(nèi)容是沒(méi)有更新的，如果能夠把那些不經(jīng)常更新的部分放在自己的電腦里面，每次打開(kāi)網(wǎng)頁(yè)的時(shí)候，首先搜索自己電腦里面已經(jīng)有的內(nèi)容，然后再去服務(wù)器去尋找那些被更新了的部分，這樣服務(wù)器傳輸?shù)臄?shù)據(jù)量就會(huì)大大減少了，整個(gè)網(wǎng)頁(yè)也會(huì)被更快地顯示出來(lái)。

　　現(xiàn)在，我們大部分人的瀏覽器都設(shè)置了緩存。所以，有時(shí)候，你會(huì)發(fā)現(xiàn)，即使網(wǎng)絡(luò)沒(méi)有接通，你訪問(wèn)的網(wǎng)站似乎也能“正常”打開(kāi)，只不過(guò)瀏覽器會(huì)顯示“脫機(jī)”狀態(tài)，告訴你，這些內(nèi)容不是真正從服務(wù)器傳輸過(guò)來(lái)的。

　　除了客戶端（瀏覽器）能夠存放緩存的內(nèi)容外，代理服務(wù)器（Proxy）也能夠存放網(wǎng)頁(yè)緩存，目的同樣是為了提速。你可以把代理服務(wù)器的緩存想象成CPU的“二級(jí)緩存”——當(dāng)客戶端沒(méi)有存儲(chǔ)某個(gè)網(wǎng)頁(yè)的緩存的時(shí)候（“一級(jí)緩存”沒(méi)有內(nèi)容），瀏覽器就會(huì)尋找代理服務(wù)器緩存，看看有沒(méi)有內(nèi)容。如果還沒(méi)有，那才會(huì)再去尋找真正存放網(wǎng)頁(yè)內(nèi)容的網(wǎng)站服務(wù)器。

　　有了緩存，當(dāng)你點(diǎn)擊瀏覽器的“回退按鈕”的時(shí)候，回退的上一個(gè)頁(yè)面就不需要再重新從服務(wù)器中下載一次，而是立即就呈現(xiàn)在你的面前。你常用的網(wǎng)站的打開(kāi)速度也顯著提升了。

　　可是，對(duì)于通過(guò)服務(wù)器日志來(lái)獲取網(wǎng)站訪問(wèn)數(shù)據(jù)的方法而言，這可不是一個(gè)好事情。由于緩存的存在，本來(lái)應(yīng)該請(qǐng)求服務(wù)器的結(jié)果不需要請(qǐng)求了，服務(wù)器的日志什么也不會(huì)記錄下來(lái)，可是對(duì)頁(yè)面的訪問(wèn)卻又實(shí)實(shí)在在的發(fā)生了。

　　所以，緩存的存在會(huì)使日志方法低估網(wǎng)站的實(shí)際訪問(wèn)量。

      2. 害怕Flash等“客戶端交互”內(nèi)容

　　現(xiàn)在，為了更具沖擊力的視覺(jué)效果和更豐富的網(wǎng)頁(yè)互動(dòng)，運(yùn)用Flash、加入視頻、設(shè)計(jì)很多互動(dòng)程序在網(wǎng)頁(yè)上已經(jīng)稀疏平常。而這些元素，它們太獨(dú)立了，以至于當(dāng)它們被載入到瀏覽器端了之后，完全可以在瀏覽器端運(yùn)行而不再與服務(wù)器發(fā)生交互，或者只需要在必要的時(shí)候才與服務(wù)器發(fā)生交互。

　　比如，你玩兒普通網(wǎng)頁(yè)版的Flash小游戲，一旦游戲下載完畢，你在玩兒的過(guò)程中跟網(wǎng)站服務(wù)器就不會(huì)有什么聯(lián)系了，或者你看網(wǎng)頁(yè)上的視頻，你在播放器上進(jìn)行的暫停操作，一般也不會(huì)跟服務(wù)器進(jìn)行互動(dòng)。還有，有一些腳本語(yǔ)言編寫(xiě)的網(wǎng)頁(yè)程序，是在瀏覽器上被解釋執(zhí)行的，比如用JavaScript實(shí)現(xiàn)的網(wǎng)頁(yè)Tab標(biāo)簽切換，在頁(yè)面全部載完后，無(wú)論你怎么切換Tab，服務(wù)器都感覺(jué)不到了。

　　服務(wù)器感覺(jué)不到，也就不會(huì)存在什么服務(wù)器日志記錄，也就不會(huì)有數(shù)據(jù)，因此用日志方法是無(wú)法準(zhǔn)確獲取“客戶端交互”類型的網(wǎng)站訪問(wèn)行為的。這種情況下，必須選擇其他的數(shù)據(jù)收集方法。

      3. 不精確的訪問(wèn)者記錄

　　日志方法辨別獨(dú)立訪問(wèn)者需要依靠客戶端的IP地址，也只能依靠它。不過(guò)，IP地址顯然不代表真正的訪問(wèn)者。上班族的整個(gè)辦公室的IP地址都可能是一個(gè)（使用代理服務(wù)器），而這個(gè)辦公室可能坐著十多個(gè)人。這可能使訪問(wèn)者的數(shù)量被低估。

　　同樣，在家中，如果你購(gòu)買(mǎi)了公共網(wǎng)絡(luò)服務(wù)，那么你的IP地址存在動(dòng)態(tài)分配的問(wèn)題。你今天上網(wǎng)的IP地址和明天的可能就會(huì)不同，這個(gè)時(shí)候日志方法只能判斷為兩個(gè)不同的訪問(wèn)者。這又可能使訪問(wèn)者的數(shù)量被高估。

　　此外，前面提到過(guò)日志是能夠忠實(shí)記錄機(jī)器（非人為）的訪問(wèn)活動(dòng)的，但是機(jī)器不是人，它們的活動(dòng)混在真實(shí)的人的訪問(wèn)之中，同樣會(huì)使真實(shí)訪問(wèn)者的數(shù)量，或者訪問(wèn)數(shù)本身被高估。

　　在這正反兩相反方向的共同作用下，結(jié)果只能一個(gè)，那就是對(duì)于訪問(wèn)者數(shù)量的估算是非常模糊的。當(dāng)然，我們必須要承認(rèn)，無(wú)論用什么方法，網(wǎng)站訪問(wèn)者的精確數(shù)量都無(wú)法獲得，但相對(duì)而言，日志方法要更不準(zhǔn)確些。

      4. 較弱的實(shí)時(shí)性

　　沒(méi)錯(cuò)，網(wǎng)站服務(wù)器日志是記錄服務(wù)器運(yùn)行的實(shí)時(shí)數(shù)據(jù)的，但是這些數(shù)據(jù)想要被取出分析，實(shí)時(shí)性就沒(méi)有那么好了。常見(jiàn)的情況是，你必須首先把服務(wù)器日志文件（log file）從服務(wù)器中取出來(lái)，而這些文件肯定不會(huì)是服務(wù)器正在運(yùn)行過(guò)程中的數(shù)據(jù)，一般都是隔天的（需要驗(yàn)證），然后再把這些日志文件導(dǎo)入到專門(mén)針對(duì)日志分析的工具中才能進(jìn)行分析。這個(gè)過(guò)程的快慢依賴于你的熟練程度，但要追求實(shí)時(shí)，頗有難度。

　　有技術(shù)高超的站長(zhǎng)或者工程師通過(guò)架設(shè)內(nèi)部網(wǎng)絡(luò)、組建專門(mén)的日志分析服務(wù)器，并且編寫(xiě)特定的程序來(lái)解決日志分析的實(shí)時(shí)性問(wèn)題（http://www.phparticle.NET/htmldata/36462/1/），但是，對(duì)于普通的中小網(wǎng)站，這種方法難度頗大，花費(fèi)不菲，所以可行性不強(qiáng)。因此，實(shí)時(shí)性是絕大部分通過(guò)日志方法來(lái)分析網(wǎng)站數(shù)據(jù)時(shí)要面對(duì)的問(wèn)題。

      5. 海量的數(shù)據(jù)存儲(chǔ)

　　服務(wù)器日志是忠實(shí)的，所以它會(huì)如實(shí)記錄下來(lái)每一分每一秒發(fā)生的每一條服務(wù)器響應(yīng)。對(duì)于一些流量稍大的網(wǎng)站，一天的網(wǎng)站日志記錄超過(guò)數(shù)個(gè)G（Gigabytes）是非常正常的，而那些最大的網(wǎng)站，一個(gè)小時(shí)就可能產(chǎn)生數(shù)G的記錄。我們沒(méi)有詹姆斯·卡梅隆的超級(jí)團(tuán)隊(duì)（他的《阿凡達(dá)》特效需要處理超過(guò)500,000G的數(shù)據(jù)），所以如果要回溯網(wǎng)站一個(gè)月的流量就可能變成一個(gè)相當(dāng)棘手的問(wèn)題，需要投入相當(dāng)?shù)臅r(shí)間和耐心，如果你沒(méi)有相當(dāng)?shù)募夹g(shù)和經(jīng)驗(yàn)，效率就會(huì)很低。

      6. 日志文件獲取繁瑣

　　我們不能把日志文件的獲取想象的太簡(jiǎn)單，畢竟這不是在自己臥室的電腦中點(diǎn)開(kāi)一個(gè)MP3文件那么容易。有些網(wǎng)站有鏡像服務(wù)器，有些服務(wù)器在境外，有些服務(wù)器是由處在多個(gè)不同地理位置的物理服務(wù)器邏輯組合而成。這些情況下，在進(jìn)行日志分析之前需要集中所有的日志文件，這是一個(gè)很有些麻煩的事情，尤其是當(dāng)日志文件的體積極為龐大的時(shí)候。另外，如果是租用的ISP服務(wù)器空間，如果沒(méi)有權(quán)限獲取日志數(shù)據(jù)，那么實(shí)際上連進(jìn)行分析的可能性都沒(méi)有了。

　　現(xiàn)在，你完全了解了日志方法收集網(wǎng)站分析數(shù)據(jù)的優(yōu)缺點(diǎn)，那么，什么情況下你應(yīng)該選擇這種方法進(jìn)行網(wǎng)站分析呢？

      4. 什么情況下該用日志分析方法

　　如果你有如下的數(shù)據(jù)監(jiān)測(cè)和分析的需要，你應(yīng)該用日志分析方法：

1. 需要了解搜索引擎機(jī)器人或者其他非人為訪問(wèn)流量，并且希望據(jù)此對(duì)網(wǎng)站進(jìn)行針對(duì)性的優(yōu)化，如通過(guò)分析搜索引擎的訪問(wèn)行為來(lái)進(jìn)行SEO；

2. 需要了解除了普通的PC客戶端之外的上網(wǎng)設(shè)備對(duì)網(wǎng)站的訪問(wèn)情況；

3. 需要了解網(wǎng)站的文件資源是否被用戶完整的下載索取；

4. 對(duì)網(wǎng)站流量信息具有極高的保密需要，不允許讓任何第三方染指或幫忙；

5. 對(duì)于網(wǎng)站服務(wù)器的安全性和可維護(hù)性有要求，以及有非常顯著的反抗黑客或其他非授權(quán)訪問(wèn)需求的。

　　如果有如下需求，你不應(yīng)該用日志分析方法：

1. 你的網(wǎng)站有重要的Flash之類的“非網(wǎng)頁(yè)類型的互動(dòng)”，用戶和這些內(nèi)容的互動(dòng)是你想要了解的內(nèi)容；

2. 不喜歡麻煩，對(duì)大數(shù)據(jù)量文件的處理不擅長(zhǎng)，對(duì)日志文件不熟悉，沒(méi)有好的日志數(shù)據(jù)處理軟硬件資源；

3. 需要更精確的了解網(wǎng)站被真正的人訪問(wèn)的情況，而不需要了解“非人”的機(jī)器對(duì)網(wǎng)站的訪問(wèn)并且不希望受到網(wǎng)頁(yè)緩存的干擾；

4. 需要更好的實(shí)時(shí)性、更規(guī)律更直觀的數(shù)據(jù)呈現(xiàn)。

　　現(xiàn)在，拿著這個(gè)清單，你可以做出容易的選擇了。因?yàn)槲业牟┛停?a >http://www.chinawebanalytics.cn）的流量很多來(lái)自搜索引擎，因此分析服務(wù)器日志并了解搜索引擎爬蟲(chóng)的工作其實(shí)是非常必要的一個(gè)分析工作之一。

　　就我的經(jīng)驗(yàn)而言，我們國(guó)家使用日志來(lái)分析網(wǎng)站仍然占有相當(dāng)?shù)谋壤绕涫菍?duì)于一些大型網(wǎng)站，他們會(huì)開(kāi)發(fā)專門(mén)的軟件，劃撥專門(mén)的硬件資源來(lái)分析網(wǎng)站日志。不過(guò)，這不僅僅是從分析訪問(wèn)者行為的角度來(lái)考慮，更是從網(wǎng)站服務(wù)器的安全性和可維護(hù)性角度來(lái)考慮的。

　　不過(guò)，如果你把網(wǎng)站分析的重心放在對(duì)于網(wǎng)站真實(shí)訪問(wèn)者行為的追蹤和分析上，那么，通過(guò)日志方法來(lái)實(shí)現(xiàn)相對(duì)而言難度相對(duì)比較大，操作也比較繁瑣，我們可以利用另一種方法，即頁(yè)面標(biāo)記法（Page Tag）來(lái)實(shí)現(xiàn)對(duì)網(wǎng)站訪問(wèn)數(shù)據(jù)的收集。

NET技術(shù)：服務(wù)器日志法網(wǎng)站分析的原理及優(yōu)缺點(diǎn)，轉(zhuǎn)載需保留來(lái)源！

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。