一汽轎車:海天專家組救援EXADATA客戶數(shù)據(jù),挽回損失!
一汽轎車:海天專家組救援EXADATA客戶數(shù)據(jù),挽回損失!
項目背景
2016年年末,一汽轎車紅旗銷售系統(tǒng)數(shù)據(jù)庫在沒有任何征兆的情況下突然出現(xiàn)大量壞塊,導致數(shù)據(jù)庫宕機并無法啟動。經(jīng)海天起點工程師排查發(fā)現(xiàn)該RAC系統(tǒng)運行在EXADATA X4一體機上,由于ASM存儲中的數(shù)據(jù)文件出現(xiàn)問題,導致所有節(jié)點都無法啟動,銷售系統(tǒng)徹底無法運行。
項目建設內(nèi)容
故障發(fā)生后,海天起點高度重視,一小時內(nèi)先后征調(diào)四名二線專家支援。一線工程師按通常處理方法首先嘗試使用塊恢復命令恢復,但某些塊嘗試幾次后始終不能成功,情況比復雜,中間還發(fā)生了歸檔文件丟失的情況,令人欣慰的是查明歸檔文件是被NBU程序備份轉(zhuǎn)移了,同時確認前一天有全備份,具備恢復的可行性。
項目成果
考慮到問題復雜,采用其它方式處理無法在處理時間和效果方面給客戶一個明確的保證,二線專家組當機立斷在最短時間內(nèi)確定了使用全備份進行恢復的處理方案,并于次日中午將數(shù)據(jù)庫恢復到最后一個可用歸檔文件并成功啟動數(shù)據(jù)庫,將客戶銷售損失降到最低。