浪潮分布式存儲平臺服務石油勘探,縮短數據處理周期
當前石油儲備逐步減少,石油勘探、開發難度增大,借助數據技術提高石油勘探的效率成為推動石油行業增長的關鍵。存儲作為數據的載體,成為石油勘探企業轉型增效的核心競爭力。
其實數據極致性能需求已成為業界的普遍需求,根據IDC與浪潮聯合發布的《2019年數據及存儲發展研究報告》,隨著新技術發展企業對數據實時性需求日益增加,到2023年實時數據將占全球數據圈24.5%的份額。
出廠前的操練
石油勘探耗資巨大,勘探數據十分寶貴,用戶把這么重要的勘探數據托付給浪潮存儲,浪潮存儲團隊自然要全力以赴。石油勘探普遍采用地震波法,原始數據量可達數PB,后期做地震資料疊前偏移成像,會對存儲并發性能提出較高要求。根據勘探場景的數據特點,浪潮提供了容量、性能線性擴展的分布式存儲平臺。
在分布式存儲出廠前,為了確保浪潮分布式存儲平臺AS13000在地震資料處理作業環境中的功能及性能,浪潮存儲決定在實驗室里把整體環境搭起來,進行出廠前的“操練”。
濟南的測試實驗室里燈火通明,浪潮工程師團隊用16個分布式存儲節點,1:1實際搭建了一套測試系統。系統裸容量4.2PB,可用容量為3.969PB,可用容量比為73.6%。經存儲集群測試驗證,達到了進行某石油勘探公司的項目環境要求。
浪潮分布式存儲
13 次調優性能比業界平均水平“拔高”30%
接下來是最為關鍵的性能調優環節。首先,浪潮存儲工程師團隊在壓力機上部署了IOZONE測試工具。這是一款用來測試操作系統上文件系統性能的工具,范圍包括Write、Re-Write、Read、Re-Read、Random Read、Random Write等十余種測試內容,可以說是360度無死角的性能測試。其次,設置測試工具模型為16MB塊大小順序讀寫,測試數據量為內存大小的2倍以上——2倍是比較合適的設置,不然Linux會給讀寫內容進行緩存,讓測試結果不真實。就這樣,浪潮分布式存儲團隊,在壓力機上基于IOZONE測試工具一遍遍運行、調優。
一次次功能調優,一個個參數試驗,不夠好,再重來。一天深夜,加班回來剛剛躺下的浪潮存儲測試工程師腦子里又開始過篩子:白天測試結果雖然達到了客戶招標要求,但能否還有提升空間呢?突然一個靈感閃過——是不是能換個功能的參數組合試試?他一骨碌從床上爬起來,迅速把想到的實驗參數記錄下來,次日便帶領項目組進行組合調優,終于讓性能上了個臺階——讀性能從25GB/s~27GB/s區間段,提升到最高28.06GB/s。
經過長達半個月的13次系統級測試,浪潮16個節點的分布式存儲平臺平均寫性能達到27.4GB/s,平均讀性能達到30.55GB/s,容量和性能超出了招標項目需求。最終,某石油勘探公司的工作組在浪潮濟南實驗室看到了測試數據的Demo演示,對測試情況非常滿意。“浪潮存儲的實力和幾年前相比有了很大提升,這次我們的招標方案,性能要求已經比較高了,沒想到浪潮存儲還能表現得更好”。
測試數據
浪潮存儲研發工程師表示:“同等配置水平下,目前分布式存儲業內平均水平為單節點寫1.3GB/s、讀1.5GB/s,這樣一來16個節點的平均寫性能是20.8GB/s、讀性能24GB/s。對比來看,浪潮分布式存儲在石油勘探項目中的性能表現,比業界平均水平高出了20%~30%。”更高的性能意味著,浪潮分布式存儲平臺可以幫助石油勘探項目縮短勘探開發周期、提高勘探開發成功率。
浪潮分布式存儲的測試性能:寫性能比業界平均水平高32%,讀性能高27%
極速性能的背后是基于場景的技術創新
同等的硬件配置,浪潮分布式存儲為何能實現更好的性能?答案在場景化定制上。浪潮存儲通過內核客戶端優化、對象聚合、高速緩存、讀寫鎖優化等技術創新,結合石油勘探不同業務階段的IO負載需求進行深度優化。
在數據存儲階段,石油勘探需要將采集到的原始地震波數據統統寫入分布式存儲平臺,存儲需要提供高聚合帶寬和PB級容量,滿足海量數據的并發寫入、存儲需求。
在數據解釋階段,存儲需要提供高帶寬,能夠一次性“讀出”單個文件大小超300GB的超大文件。此時的存儲需求是高帶寬,超寬通路過得了萬噸輪船。
而在數據處理、分析階段,石油勘探模型處理、分析產生了海量的次生小文件,存儲需要通過小文件/對象聚合技術,提升海量次生小文件的并發性能。這就如同水庫,先匯聚資源,達到一定蓄水量后再向下游統一輸出,存儲要把億級/千萬級小文件的隨機寫變為固定大小的數據的順序寫,提高效率。
浪潮能源行業部存儲產品經理表示,“通過在石油勘探中的部署和應用,說明浪潮存儲不僅產品過硬能夠承載能源行業的領先應用,還有專業的測試、研發、服務團隊,有能力在全球提供很好的支持”。
IDC 與浪潮聯合:新數據時代元年,分布式存儲成為趨勢
根據近日IDC與浪潮聯合發布的《2019年數據及存儲發展研究報告》,2019年中國邁入新數據時代元年。報告顯示,在2019年中國數字化轉型IT支出首次超過非數字化轉型IT支出,占比達到51%。隨著數字化轉型的不斷加速,行業新應用爆發式增長,從數千、數萬躍升到百萬量級,數據呈現出海量、多元、實時、多云等趨勢。數據存儲成為承載交通、金融、能源、通信等行業轉型的基礎平臺,分布式存儲成為趨勢,2023年其占比將達到40%,閃存陣列將迎來高速發展。