IT運(yùn)維大師是每個(gè)人追尋的夢(mèng)想，他們那敏銳的嗅覺似乎總能揪出計(jì)算系統(tǒng)故障的根本原因。這種快速反應(yīng)、準(zhǔn). . .
IT運(yùn)維大師是每個(gè)人追尋的夢(mèng)想，他們那敏銳的嗅覺似乎總能揪出計(jì)算系統(tǒng)故障的根本原因。這種快速反應(yīng)、準(zhǔn)確定位的能力源自多年來處理復(fù)雜數(shù)據(jù)中心基礎(chǔ)設(shè)施難題的經(jīng)驗(yàn)積累與個(gè)人知識(shí)儲(chǔ)備，而且其成功很難被復(fù)制。顯然還沒有哪家機(jī)構(gòu)愿意為這種近乎“超自然”的神級(jí)判斷能力頒發(fā)認(rèn)證資質(zhì)。
盡管如此，高強(qiáng)度故障排查工作往往會(huì)遵循一些通用且不成文的實(shí)踐規(guī)則。在本文中，我將結(jié)合自身經(jīng)歷總結(jié)出六條不變法則，希望能為大家的實(shí)際工作帶來助益。請(qǐng)注意，這些法則只適用于大多數(shù)--而非全部--情況。
1、永遠(yuǎn)不要對(duì)當(dāng)前連接的服務(wù)器或者網(wǎng)絡(luò)設(shè)備接口進(jìn)行修改
雖然這種做法聽起來非常愚蠢，但某些人確實(shí)會(huì)頻繁對(duì)正在用于設(shè)備通信的網(wǎng)絡(luò)接口進(jìn)行修改，這也是很多故障發(fā)生的根本原因。雖然有時(shí)候如此處理也是逼不得已，但我們完全可以利用其它機(jī)制消除這種潛在缺陷。在必要時(shí)為接口配置輔助IP，并暫時(shí)將其與其它設(shè)備、子網(wǎng)、串行控制臺(tái)或者KVM之類相連。對(duì)于那些位于遠(yuǎn)程辦公環(huán)境中且周遭沒有IT人員的設(shè)備，這種處理方式就顯得更為必要。
有時(shí)候我會(huì)偷個(gè)小懶，利用寫好的腳本在Linux設(shè)備中更改IP、進(jìn)行ping測(cè)試并在出現(xiàn)錯(cuò)誤時(shí)取消變更。但這其實(shí)有點(diǎn)作弊嫌疑。
2、保證所有操作都具備恢復(fù)余地
只要有可能，請(qǐng)務(wù)必為自己的操作準(zhǔn)備一套恢復(fù)機(jī)制。這可能意味著大家需要在處理故障磁盤之前備份整個(gè)目錄結(jié)構(gòu)下的所有文件，雖然看似麻煩，但這能幫助我們保有全部存在潛在價(jià)值的數(shù)據(jù)。另外，大家也可以在處理損壞的操作系統(tǒng)前直接從物理服務(wù)器的RAID 1陣列中取出一塊磁盤。當(dāng)然，這一切在虛擬機(jī)環(huán)境下將更加輕松，只需保存一份快照即可搞定。
3、記錄、記錄再記錄
在今天提到的各項(xiàng)法則中，這一條恐怕是最難遵循的。可以肯定的是，在一片混亂當(dāng)中心平氣和地記錄下問題與判斷確實(shí)有點(diǎn)不切實(shí)際。但即使如此，我們?nèi)匀恍枰谑虑榻Y(jié)束之后為自己保留一份分析資料，記錄下處理過程中的執(zhí)行步驟以及解決途徑。請(qǐng)記得把記錄保管在安全的地方，最好是由企業(yè)內(nèi)網(wǎng)托管的維基條目--并在其它位置多備份幾份。
4、IT工作不相信魔法，但卻仰仗運(yùn)氣
正如托馬斯·杰斐遜所說，"我發(fā)現(xiàn)自己工作得越努力，幸運(yùn)女神就越是垂青于我。"同樣的道理也適用于IT領(lǐng)域。大家在基礎(chǔ)設(shè)施研究方面投入的時(shí)間越多、對(duì)路由器、交換機(jī)、服務(wù)器的運(yùn)作狀況越熟悉，實(shí)際管理時(shí)也就越輕松。定期做好這項(xiàng)功課能幫助我們培養(yǎng)出敏銳的嗅覺，在問題早期就做出準(zhǔn)確判斷，并在出現(xiàn)問題時(shí)更快做出響應(yīng)。培養(yǎng)IT好運(yùn)的辦法還有很多。舉例來說，利用工具對(duì)網(wǎng)絡(luò)設(shè)備配置進(jìn)行自動(dòng)化備份能在交換機(jī)無法工作時(shí)幫助大家在幾分鐘內(nèi)部署好替代方案，而不再需要花費(fèi)幾個(gè)小時(shí)。
5、在進(jìn)行修改前對(duì)每個(gè)配置文件做好備份
這條規(guī)則一般只適用于Unix服務(wù)器及網(wǎng)絡(luò)設(shè)備，因?yàn)槠渑渲梦募缀醮嬖谟谠O(shè)備配置體系中的各個(gè)環(huán)節(jié)。在我們改動(dòng)敏感配置之前，最好先在交換機(jī)閃存或者TFTP主機(jī)中保留一份副本。在Unix系統(tǒng)方面，只需將*.conf以另外保存為*.conf.orig即可。
如此一來，我們就能在緊要關(guān)頭輕松將服務(wù)恢復(fù)至原先的正常運(yùn)行狀態(tài)--將文件復(fù)制回去并重新啟動(dòng)服務(wù)，就這么簡(jiǎn)單。但這種做法在Windows環(huán)境中就幫不上忙了，注冊(cè)表的存在與Windows的系統(tǒng)特性大大增加了簡(jiǎn)單概念的實(shí)際復(fù)雜程度。即便如此，大家仍然可以在動(dòng)手修改前導(dǎo)出一份注冊(cè)表，這樣麻煩出現(xiàn)時(shí)咱們也能做到手中有糧、心里不慌。注意：由于Windows注冊(cè)表如此關(guān)鍵，對(duì)其做出變更等于是將服務(wù)器的命脈握在手中，千萬馬虎不得。
6、監(jiān)控、監(jiān)控再監(jiān)控
所謂預(yù)防勝于治療，每月找個(gè)周末仔細(xì)檢查一遍業(yè)務(wù)環(huán)境非常必要。大家應(yīng)該認(rèn)真監(jiān)控?cái)?shù)據(jù)中心的每個(gè)方面，從室內(nèi)溫度開始、到機(jī)架、再到服務(wù)器--另外，服務(wù)器進(jìn)程檢查、正常運(yùn)行時(shí)間檢查等等，這是一項(xiàng)無窮無盡、略顯枯燥但卻極為關(guān)鍵的工作。我們還需要對(duì)所有網(wǎng)絡(luò)設(shè)備進(jìn)行集中式系統(tǒng)日志整理，并通過趨勢(shì)及圖形工具監(jiān)控帶寬使用率、溫度、磁盤分區(qū)用量以及其它重要數(shù)據(jù)指標(biāo)。所有這些監(jiān)控機(jī)制都應(yīng)當(dāng)在數(shù)據(jù)超過合理閾值時(shí)向我們提出警告。
當(dāng)某個(gè)磁盤分區(qū)空間不足而導(dǎo)致數(shù)據(jù)庫損壞時(shí)，提前一小時(shí)發(fā)來的電子郵件或短信很可能幫助我們擺脫噩夢(mèng)般的緊急加班與系統(tǒng)停機(jī)。我們沒有理由不在數(shù)據(jù)中心內(nèi)充分利用監(jiān)控這一利器。
今天的規(guī)則匯總就說到這里。它們不僅應(yīng)該被嚴(yán)格遵守，更有理由成為IT工作中根深蒂固的指導(dǎo)性原則。對(duì)于深刻理解IT工作內(nèi)涵的技術(shù)人員，這六條法則只不過是必須堅(jiān)守的觀念;但在其他人看來，它們則如同IT大師一般只是個(gè)可望而不可即的神話。
轉(zhuǎn)載 我愛IT技術(shù)網(wǎng)
