數(shù)據(jù)倉庫技術(shù)在地區(qū)電力調(diào)度中的應(yīng)用

數(shù)據(jù)倉庫技術(shù)在地區(qū)電力調(diào)度中的應(yīng)用
摘要：分析了傳統(tǒng)電力調(diào)度數(shù)據(jù)庫系統(tǒng)在決策分析應(yīng)用等方面的不足，并提出了在現(xiàn)有數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)上建數(shù)據(jù)倉庫的思想。文中具體介紹了該數(shù)據(jù)倉庫的設(shè)計(jì)模型、結(jié)構(gòu)以及實(shí)施原則，并對其應(yīng)用遠(yuǎn)景做了展看。 相序表| 萬用表| 功率計(jì)| 示波器| 電阻測試儀| 電阻計(jì)| 電表| 鉗表| 高斯計(jì)| 電磁場測試儀| 電源供應(yīng)器

0引言

地區(qū)電力調(diào)度同時擔(dān)負(fù)著所在城市及城市所轄市縣電網(wǎng)的調(diào)度運(yùn)行工作和所在城市的配電網(wǎng)治理工作。由于歷史的原因，電網(wǎng)調(diào)度和配電網(wǎng)治理彼此獨(dú)立，并由不同職責(zé)部分負(fù)責(zé)。針對地區(qū)電網(wǎng)調(diào)度的ems(能量治理系統(tǒng))和配電網(wǎng)治理的dms(配電治理系統(tǒng))是彼此獨(dú)立的兩個系統(tǒng)，多數(shù)軟件由不同的生產(chǎn)廠家提供，各種功能相對獨(dú)立，數(shù)據(jù)不一致題目突出，相互之間的數(shù)據(jù)共享困難。而電力調(diào)度部分在進(jìn)行決策和分析時需要分析大量的數(shù)據(jù)，既要有輸電網(wǎng)的數(shù)據(jù)，又要有配電網(wǎng)的數(shù)據(jù)，并要求能挖掘出數(shù)據(jù)之間的相互關(guān)聯(lián)，很顯然這種傳統(tǒng)的ems和dms數(shù)據(jù)模式不適合決策分析的需求。

隨著電網(wǎng)規(guī)模的不斷擴(kuò)大和電力市場競爭機(jī)制的引進(jìn)，ems和dms各自積累了海量的數(shù)據(jù)，如何更好地利用和治理這些日益龐大的同構(gòu)和異構(gòu)數(shù)據(jù)庫，并挖掘出數(shù)據(jù)之間的潛伏聯(lián)系，幫助企業(yè)更好地分析和決策，已成為地區(qū)供電企業(yè)日益緊迫的需求。數(shù)據(jù)倉庫技術(shù)可以把企業(yè)內(nèi)、外部數(shù)據(jù)進(jìn)行有效的集成，主要應(yīng)用于分析型處理，基于此，本文提出了建立地區(qū)電力調(diào)度數(shù)據(jù)倉庫的思想和應(yīng)用模型。

1數(shù)據(jù)倉庫技術(shù)

1.1數(shù)據(jù)倉庫技術(shù)概要

數(shù)據(jù)倉庫以改進(jìn)后的數(shù)據(jù)庫技術(shù)作為存儲數(shù)據(jù)和治理資源的基本手段，以統(tǒng)計(jì)分析技術(shù)作為分析數(shù)據(jù)和提取信息的有效方法，通過人工智能、神經(jīng)網(wǎng)絡(luò)、知識推理等數(shù)據(jù)挖掘方法來發(fā)現(xiàn)數(shù)據(jù)背后隱躲的規(guī)律，實(shí)現(xiàn)從"數(shù)據(jù)--信息--知識的過程，從而為企業(yè)治理階層提供各種層次的支持"。

1.2數(shù)據(jù)倉庫在電力調(diào)度的應(yīng)用特點(diǎn)

1)面向主題：調(diào)度部分的ems和dms是以優(yōu)化事務(wù)處理的方式來構(gòu)造數(shù)據(jù)結(jié)構(gòu)的，對于某個主題的數(shù)據(jù)經(jīng)常分布在不同的數(shù)據(jù)庫中，這意味著訪問某個主題的數(shù)據(jù)實(shí)際上需要訪問分布在不同數(shù)據(jù)庫中的數(shù)據(jù)集合。而數(shù)據(jù)倉庫將這些數(shù)據(jù)集中在一個地方，對應(yīng)于某個主題的全部數(shù)據(jù)被存放在一張數(shù)據(jù)表中，這樣調(diào)度部分可以非常方便地在數(shù)據(jù)倉庫中的一個位置檢索包含某個主題的所有數(shù)據(jù)。

2)數(shù)據(jù)集成：地區(qū)調(diào)度部分的數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)是分散而非集成的，由于應(yīng)用軟件提供的廠家不同，分別建有各自的數(shù)據(jù)庫，導(dǎo)致了現(xiàn)有的數(shù)據(jù)屬性存在很多同名異義、異義同名，及數(shù)據(jù)格式、丈量單位和數(shù)據(jù)代碼含義不一致的現(xiàn)象。因此必須對進(jìn)人數(shù)據(jù)倉庫的數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)化，保持?jǐn)?shù)據(jù)的一致性。 校正器| 轉(zhuǎn)換器| 傳送器| 變送器| 傳感器| 記錄儀| 有紙記錄儀| 無紙記錄儀|

3)數(shù)據(jù)的穩(wěn)定性：在數(shù)據(jù)倉庫中，數(shù)據(jù)一旦寫進(jìn)就不再變化了，數(shù)據(jù)倉庫可以看成是一個虛擬的只讀數(shù)據(jù)庫系統(tǒng)，用戶以只讀方式訪問數(shù)據(jù)倉庫。數(shù)據(jù)倉庫在數(shù)據(jù)存儲方面是分批進(jìn)行，定期執(zhí)行提取過程為數(shù)據(jù)倉庫增加記錄，但是這些記錄一旦加進(jìn)，就不再從系統(tǒng)中刪除。

4)隨時間變化：數(shù)據(jù)倉庫記錄系統(tǒng)的各個瞬態(tài)，從而在數(shù)據(jù)分析的時候再現(xiàn)系統(tǒng)運(yùn)動的全過程。數(shù)據(jù)追加實(shí)際上只是增加在上次數(shù)據(jù)輸進(jìn)后數(shù)據(jù)庫變化了的數(shù)據(jù)。

2地區(qū)調(diào)度數(shù)據(jù)倉庫模型

建立地區(qū)調(diào)度數(shù)據(jù)倉庫的基本思想就是在現(xiàn)有ems和dms基礎(chǔ)上，把ems和dms中的海量數(shù)據(jù)進(jìn)行抽取和轉(zhuǎn)化后存人數(shù)據(jù)倉庫，并針對不同的主題在數(shù)據(jù)倉庫中建立數(shù)據(jù)集市，然后利用oltp和數(shù)據(jù)挖掘軟件對不同主題的數(shù)據(jù)進(jìn)行分析處理，從而幫助調(diào)度職員做出決策。現(xiàn)建立如圖1所示的地區(qū)電力調(diào)度數(shù)據(jù)倉庫模型.

2.1源數(shù)據(jù)層

源數(shù)據(jù)層主要是指地區(qū)電力調(diào)度現(xiàn)在所擁有的數(shù)據(jù)庫系統(tǒng)，即ems和dms。另外，由于電力調(diào)度在分析和決策時需要用外部數(shù)據(jù)，如氣象資料，省域網(wǎng)的部分資料數(shù)據(jù)等，因此，需要使用的外部數(shù)據(jù)也包括在源數(shù)據(jù)層內(nèi)。

2.2數(shù)據(jù)提取、轉(zhuǎn)換／裝載層

地區(qū)電力調(diào)度系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)量非常巨大，并不是所有數(shù)據(jù)都是分析決策所必須的，因此，只需用專用軟件提取分析決策所必須的ems、dms數(shù)據(jù)和外部數(shù)據(jù)。另外針對原數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)不一致的情況，必須對不一致的數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，使載人數(shù)據(jù)倉庫中的數(shù)據(jù)和數(shù)據(jù)格式能夠保持一致，供分析決策使用。

2.3數(shù)據(jù)倉庫層

2.3.1數(shù)據(jù)倉庫存儲

數(shù)據(jù)倉庫中存儲了數(shù)據(jù)和元數(shù)據(jù)，其中數(shù)據(jù)的存儲方式主要有虛擬存儲方式、關(guān)系表存儲方式和多維結(jié)構(gòu)存儲方式。由于虛擬存儲方式效率差，而關(guān)系數(shù)據(jù)庫的使用比較普遍，故采用關(guān)系表存儲方式。使用oracle作為數(shù)據(jù)倉庫設(shè)施，將數(shù)據(jù)存儲在oracle的表結(jié)構(gòu)中，并按星型結(jié)構(gòu)來組織這些關(guān)系表。現(xiàn)具體介紹數(shù)據(jù)倉庫中的數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)的組織結(jié)構(gòu)和對數(shù)據(jù)的處理。

1)數(shù)據(jù)

地區(qū)電力調(diào)度數(shù)據(jù)倉庫中的數(shù)據(jù)指的是從ems、dms或外部數(shù)據(jù)庫中提取，并經(jīng)過清洗和轉(zhuǎn)化的數(shù)據(jù)。由于數(shù)據(jù)倉庫主要用于olap分析和數(shù)據(jù)挖掘，因此需在原始數(shù)據(jù)的基礎(chǔ)上增加冗余信息，進(jìn)行預(yù)運(yùn)算，建立多維數(shù)據(jù)庫，以迅速轉(zhuǎn)換數(shù)據(jù)。

2)元數(shù)據(jù)

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，它描述了數(shù)據(jù)倉庫中的數(shù)據(jù)和環(huán)境，遍及數(shù)據(jù)倉庫的所有方面。它包括兩種，一種是操縱型環(huán)境向數(shù)據(jù)倉庫環(huán)境轉(zhuǎn)換而建立的元數(shù)據(jù)，包括所有源數(shù)據(jù)項(xiàng)的名稱、屬性及其在提取倉庫中的變化；第二種元數(shù)據(jù)是數(shù)據(jù)倉庫中用來與終極用戶的多維貿(mào)易模型和前端工具之間建立映射的，這種數(shù)據(jù)稱為決策支持系統(tǒng)(dds)元數(shù)據(jù)。在數(shù)據(jù)倉庫中建立專用的元數(shù)據(jù)庫來存放和治理元數(shù)據(jù)。

3)電網(wǎng)數(shù)據(jù)組織結(jié)構(gòu)

由于ems和dms中數(shù)據(jù)量非常龐大，因此有必要對數(shù)據(jù)進(jìn)行綜合。在數(shù)據(jù)倉庫中，數(shù)據(jù)被分成4種級別，分別是高度綜合級、輕度綜合級、當(dāng)前細(xì)節(jié)級和早期細(xì)節(jié)級。數(shù)據(jù)總是首先進(jìn)進(jìn)當(dāng)前細(xì)節(jié)級，然后根據(jù)應(yīng)用的需求，通過預(yù)運(yùn)算將數(shù)據(jù)聚合成輕度綜合級和高度綜合級。若系統(tǒng)中的一些細(xì)節(jié)數(shù)據(jù)隨著時間的推移已經(jīng)老化，很少會被使用，可以將這些數(shù)據(jù)導(dǎo)出備份到設(shè)備上。
4)數(shù)據(jù)的處理

數(shù)據(jù)倉庫中一般存放5至10年的數(shù)據(jù)，若將全部數(shù)據(jù)放在一張表內(nèi)，由于數(shù)據(jù)量太大，會降低數(shù)據(jù)訪問效率，因此必須對數(shù)據(jù)表進(jìn)行公道的分割�？砂磿r間對表進(jìn)行分割，在表中增加時間字段，往除與分析主題無關(guān)的純操縱型數(shù)據(jù)。

在數(shù)據(jù)倉庫中，有些數(shù)據(jù)更新的較為頻繁，如實(shí)時數(shù)據(jù)，而有些數(shù)據(jù)更新的時間較長，如設(shè)備信息等。因此，有必要按數(shù)據(jù)更新的頻率對表進(jìn)行劃分，將不同變化頻度的字段放在不同的表中，各表之間使用相同的"標(biāo)識號"進(jìn)行關(guān)聯(lián)，以節(jié)省存儲空間。

2.3.2數(shù)據(jù)集市

由于數(shù)據(jù)倉庫中的數(shù)據(jù)量很大，若每次訪問都要在海量數(shù)據(jù)中進(jìn)行數(shù)據(jù)檢索，會降低數(shù)據(jù)處理效率，故此可建立數(shù)據(jù)集市。廣州市駿凱電子科技有限公司數(shù)據(jù)集市是面向某一特定主題的、從數(shù)據(jù)倉庫中邏輯上或物理上劃分出來的數(shù)據(jù)子集。使用數(shù)據(jù)集市的主要目的是減少數(shù)據(jù)處理量。它具有面向部分、有特定的應(yīng)用、規(guī)模小和實(shí)現(xiàn)速度快的優(yōu)點(diǎn)。在地區(qū)電力調(diào)度中可建立的數(shù)據(jù)集市有：

1)負(fù)荷猜測

負(fù)荷猜測是地區(qū)電力調(diào)度工作的重要環(huán)節(jié)，可分為系統(tǒng)負(fù)荷猜測和母線負(fù)荷猜測兩類；而系統(tǒng)負(fù)荷猜測按周期又分為超短期負(fù)荷猜測、短期負(fù)荷猜測、中期負(fù)荷猜測和長期負(fù)荷猜測。在地區(qū)電力調(diào)度中，ems和dms數(shù)據(jù)庫系統(tǒng)中的歷史數(shù)據(jù)的保存期限大多為一年，超過一年的數(shù)據(jù)則被導(dǎo)出另外存放，不利于在線進(jìn)行長期和中期負(fù)荷猜測。數(shù)據(jù)倉庫能保存5至10年的歷史數(shù)據(jù)，可運(yùn)用數(shù)據(jù)挖掘技術(shù)對電力負(fù)荷數(shù)據(jù)進(jìn)行深度挖掘，獲得影響負(fù)荷的主要因素并對負(fù)荷進(jìn)行有效的分類，然后再利用得到的知識建立負(fù)荷模型，從而進(jìn)步負(fù)荷猜測的精度。

2)系統(tǒng)安全穩(wěn)定性評估

電力系統(tǒng)有五種運(yùn)行狀態(tài)，分別為正常運(yùn)行狀態(tài)、告警狀態(tài)、緊急狀態(tài)、危急狀態(tài)和恢復(fù)狀態(tài)�？衫�用挖掘技術(shù)挖掘海量的電力系統(tǒng)運(yùn)行數(shù)據(jù)，獲悉電力系統(tǒng)在何種條件下處于正常運(yùn)行狀態(tài)、告警狀態(tài)、緊急狀態(tài)、危急狀態(tài)和恢復(fù)狀態(tài)，并對系統(tǒng)的安全穩(wěn)定性做出評估，從而輔助調(diào)度職員做出決策。

3)電力系統(tǒng)故障分析

地區(qū)電力調(diào)度部分已經(jīng)積累了大量的故障數(shù)據(jù)。系統(tǒng)故障的發(fā)生既有偶然的一面，又有規(guī)律性可遵循。運(yùn)用數(shù)據(jù)挖掘技術(shù)對電網(wǎng)故障數(shù)據(jù)進(jìn)行挖掘分析，獲得發(fā)生故障與天氣變化和負(fù)荷變化之間的聯(lián)系，從而輔助調(diào)度職員進(jìn)行決策，公道安排檢驗(yàn)計(jì)劃，保證電網(wǎng)安全可靠運(yùn)行。

4)電力系統(tǒng)規(guī)劃設(shè)計(jì)

電網(wǎng)規(guī)劃是地區(qū)供電企業(yè)規(guī)劃活動的基本環(huán)節(jié)，在規(guī)劃過程中，需要處理大量的信息，可利用聚類、分類、關(guān)聯(lián)、總結(jié)等挖掘工具挖掘模型和數(shù)據(jù)間的關(guān)系，為輔助決策系統(tǒng)增加約束條件，從而更公道地規(guī)劃電網(wǎng)。

5)電力用戶特征分析

隨著電力市場的發(fā)展和競爭的加劇，地區(qū)供電企業(yè)需要制定出有競爭力的實(shí)時電價(jià)，因此，必須對電力用戶進(jìn)行正確分析。電力系統(tǒng)的用戶具有多樣性和隨機(jī)性，可利用olap多維分析的特性，對用戶的行為模式及負(fù)荷要求進(jìn)行分門別類，在保證系統(tǒng)安全和穩(wěn)定性的條件下，對不同種別的用戶，采用不同的營銷策略，制定出公道的電價(jià)收費(fèi)表，以進(jìn)步市場競爭力。

2.4邏輯應(yīng)用層

邏輯應(yīng)用層主要包括olap、數(shù)據(jù)挖掘和界面子系統(tǒng)。現(xiàn)具體分析如下：

2.4.1olap子系統(tǒng)

在ems和dms中，調(diào)度職員通過聯(lián)機(jī)事務(wù)處理(oltp)和sql可對數(shù)據(jù)庫進(jìn)行簡單查詢。隨著時間的推移，電網(wǎng)規(guī)模不斷擴(kuò)大，ems和dms中的數(shù)據(jù)量也急劇增加，廣州市駿凱電子科技有限公司調(diào)度職員需要從多個維度來觀察調(diào)度系統(tǒng)的運(yùn)營情況，從而輔助決策。很顯然，傳統(tǒng)的簡單查詢模式已不能滿足電力調(diào)度職員的需求。olap是針對某個特定主題進(jìn)行聯(lián)機(jī)數(shù)據(jù)訪問、處理和分析，通過直觀的方式從多個維度、多種數(shù)據(jù)綜合程度將系統(tǒng)的運(yùn)營情況展現(xiàn)給使用者。它通過對多維組織后的數(shù)據(jù)進(jìn)行切片、切塊、聚合、鉆取、旋轉(zhuǎn)等分析動作，剖析數(shù)據(jù)使調(diào)度職員能從多種維度、多個側(cè)面、多種數(shù)據(jù)綜合程度查看數(shù)據(jù)；了解數(shù)據(jù)背后的規(guī)律，從而輔助決策。

2.4.2數(shù)據(jù)挖掘子系統(tǒng)

隨著計(jì)算機(jī)技術(shù)在電力系統(tǒng)的廣泛應(yīng)用，地區(qū)電力調(diào)度部分已經(jīng)積累了大量的運(yùn)行數(shù)據(jù)和非運(yùn)行數(shù)據(jù)，這些數(shù)據(jù)記錄了地區(qū)供電企業(yè)多年的運(yùn)行狀況，電力調(diào)度職員急需對這些歷史數(shù)據(jù)進(jìn)行深進(jìn)分析，以獲得有價(jià)值的信息，輔助調(diào)度員進(jìn)行決策，進(jìn)步電網(wǎng)運(yùn)行的可靠性。

數(shù)據(jù)挖掘是一個利用各種分析工具在大量數(shù)據(jù)中發(fā)現(xiàn)模型和數(shù)據(jù)間關(guān)系的過程。數(shù)據(jù)挖掘從大量數(shù)據(jù)中提取隱含在其中的人們事先未知、但又是潛伏有用的信息，并以人們可以理解的模式展現(xiàn)。它的基本過程是首先對數(shù)據(jù)進(jìn)行預(yù)處理，然后選擇算法，提取規(guī)則，并對結(jié)果進(jìn)行評價(jià)。

2.4.3用戶界面子系統(tǒng)

用戶界面子系統(tǒng)主要是把olap和數(shù)據(jù)挖掘的分析結(jié)果通過友好的界面展現(xiàn)給終極用戶，從而輔助用戶進(jìn)行決策。

目前數(shù)據(jù)倉庫在電力系統(tǒng)的應(yīng)用還處于探討階段，沒有大規(guī)模的投進(jìn)使用，因此在建設(shè)地區(qū)調(diào)度數(shù)據(jù)倉庫時，不應(yīng)采用傳統(tǒng)的瀑布式開發(fā)方法，而是采用螺旋式開發(fā)的方法，將一個龐大的任務(wù)劃分成多個階段，在每個階段完成后，再開始新的開發(fā)，從而避免由于早期考慮不完善而造成巨大的經(jīng)濟(jì)損失。

3結(jié)束語

由于數(shù)據(jù)倉庫具有主要面向分析型應(yīng)用，輔助企業(yè)進(jìn)行分析決策的強(qiáng)大上風(fēng)，數(shù)據(jù)倉庫技術(shù)正在逐步應(yīng)用于地區(qū)電力調(diào)度部分。廣州市駿凱電子科技有限公司在原有數(shù)據(jù)庫基礎(chǔ)上，建立地區(qū)電力調(diào)度數(shù)據(jù)倉庫，利用olap和數(shù)據(jù)挖掘工具對數(shù)據(jù)進(jìn)行深進(jìn)的分析和挖掘，找出數(shù)據(jù)之間的潛伏聯(lián)系，從而在負(fù)荷猜測、系統(tǒng)安全評估、電力系統(tǒng)故障分析、電網(wǎng)規(guī)劃和電力用戶特征分析等方面輔助調(diào)度職員進(jìn)行決策，減輕調(diào)度職員的負(fù)擔(dān)。然而數(shù)據(jù)倉庫究竟是一門新興技術(shù)，其在地區(qū)電力部分的應(yīng)用還處于初期階段，很多功能還在探討之中。隨著數(shù)據(jù)倉庫技術(shù)的進(jìn)一步完善，數(shù)據(jù)倉庫技術(shù)在地區(qū)電力調(diào)度系統(tǒng)中的應(yīng)用也將進(jìn)一步完善和發(fā)展。