2.2 電力大數據技術體系

2.2.2 電力大數據關鍵技術

大數據所涉及的關鍵技術主要包括：數據集成管理技術、數據存儲管理技術、高性能計算技術和分析挖掘技術，具體技術內涵以及范疇見表2-1。

表 2 - 1 大數據的關琎技術及其內涵與范疇

(1 ) 數據集成管理技術

是指將不同數據源的大數據（結構化、半結構化、非結構化）收集、整理、清洗、轉換以后加載到一個新的數據源中，并對這些數據源實行集中管理，對外部訪問統(tǒng)一提供服務的數據集成方式。數據集成管理技術包括數據融合和集成技術、數據抽取技術、數據消洗和過濾技術，具體是指電力數據ETL( Extract、Transfer和Load，即提取、轉換和裝載 )、電力數據統(tǒng)一公共模型等技術。電力數據質量本身不高，準確性、及時性均有所欠缺，這也對數據處理技術提出了更高的要求。

(2 ) 數據存儲管理技術

數據存儲管理是指將大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數據存儲和業(yè)務訪問。電網數據結構各異，結構化與非結構化數據并存，在應用實時性需求上存在著非實時性和實時性需求的數據。因此，需要協(xié)調不同功能需求的數據庫協(xié)同存儲管理海量電網數據。

(3 )高性能計算技術

包括分布式計算技術、內存計算技術、流處理技術，具體是指電力云、電力數據中心軟硬件資源虛擬化等技術。近幾年電力數據的海量增長使得電力企業(yè)需要通過新型數據處理技術來更有效地利用軟硬件資源，在降低IT 投入、維護成本和物理能耗的同時，為電力大數據的發(fā)展提供更為穩(wěn)定、強大的數據處理能力。

( 4 ) 分析挖掘技術包括數據挖掘、機器學習等人工智能技術，具體是指電網安全在線分析、間歇性電源發(fā)電預測、設施線路運行狀態(tài)分析等技術，由于電力系統(tǒng)安全穩(wěn)定運行的重要性以及電力發(fā)輸變配用的瞬時性，比其他行業(yè)，電力大數據對分析結果的準確度要求更高。當然，大數據技術是一系列技術的集合。在電力大數據事業(yè)推的過程中，電力企業(yè)可以借鑒圖表中所示不同大數據技術的成熟程度以及成熟時間，并結合自身實際需求，合理開展電力大數據實踐，使大數據在電力行業(yè)中其正落地。