數據倉庫與智能卡應用系統

文章出處：http://psychicreadingswithdeb.com 作者：創(chuàng )峰金安公司 楊升   人氣： 發(fā)表時(shí)間：2011年09月18日

1．前言 

    隨著(zhù)全球一體化進(jìn)程的加劇和我國加入世貿組織，對我國政府及企業(yè)的管理工作提出了更高的要求。因此，充分利用現代信息科技技術(shù)，自動(dòng)快速獲取有用的決策信息，為企業(yè)提供及時(shí)、準確的決策支持，已成為大多數成功企業(yè)及政府部門(mén)的共識。 

    數據倉庫是近年來(lái)興起的一種新的數據庫應用?！皵祿}庫”一詞最早出現于20世紀90年代初，目前已趨于成熟。據IDC調查，數據倉庫的平均投資回報率（ROI）已超過(guò)400%。數據倉庫技術(shù)與互聯(lián)網(wǎng)技術(shù)一樣，正在成為最快的IT增長(cháng)點(diǎn)，并日益緊密地與智能卡應用技術(shù)相結合。 

2．數據倉庫 

    傳統的數據庫技術(shù)是以單一的數據資源，進(jìn)行事務(wù)處理、批處理、決策分析等各種數據處理工作，主要的劃分為兩大類(lèi)：操作型處理和分析型處理(或信息型處理)。操作型處理也叫事務(wù)處理，是指對數據庫聯(lián)機的日常操作，通常是對一個(gè)或一組紀錄的查詢(xún)和修改，主要為企業(yè)的特定應用服務(wù)的，注重響應時(shí)間，數據的安全性和完整性；分析型處理則用于管理人員的決策分析，經(jīng)常要訪(fǎng)問(wèn)大量的歷史數據。傳統數據庫系統優(yōu)于企業(yè)的日常事務(wù)處理工作，而難于實(shí)現對數據分析處理要求，已經(jīng)無(wú)法滿(mǎn)足數據處理多樣化的要求。操作型處理和分析型處理的分離成為必然。 

    隨著(zhù)數據庫技術(shù)的應用和發(fā)展，人們嘗試對數據庫中的數據進(jìn)行再加工，形成一個(gè)綜合的，面向分析的環(huán)境，以更好支持決策分析，從而形成了數據倉庫技術(shù)。作為決策支持系統，數據倉庫系統包括： 

1）數據倉庫技術(shù)； 

    數據倉庫是適合知識發(fā)現的過(guò)程的結構。數據倉庫的處理過(guò)程是從“數據清理/整合——>數據倉庫——>數據選擇——>數據挖掘——>模式評價(jià)——>知識”不斷循環(huán)的過(guò)程 

2）聯(lián)機分析處理技術(shù)； 

    聯(lián)機分析處理是使分析人員、管理人員或執行人員能夠從多角度對信息進(jìn)行快速、一致、交互地存取,從而獲得對數據的更深入了解的一類(lèi)軟件技術(shù)。 

3）數據挖掘技術(shù)； 

    從大量的、不完全的、有噪聲的、模糊的、隨機的實(shí)際應有數據中，提取出隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過(guò)程。它是在沒(méi)有明確假設的前提下去挖掘信息、發(fā)現知識。 

    數據倉庫彌補了原有的數據庫的缺點(diǎn)，將原來(lái)的以單一數據庫為中心的數據環(huán)境發(fā)展為一種新環(huán)境：體系化環(huán)境。 


    數據倉庫概念始于本世紀80年代中期，第一次出現是在號稱(chēng)“數據倉庫之父”William H.Inmon的《建立數據倉庫》一書(shū)中。隨著(zhù)人們對大型數據系統研究、管理、維護等方面的深刻認識和不斷完善，在總結、豐富、集中各行業(yè)，企業(yè)信息的經(jīng)驗之后，為數據倉庫給出了更為精確的定義，即“數據倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數據集合”。 

    數據倉庫并沒(méi)有嚴格的數學(xué)理論基礎，也沒(méi)有成熟的基本模式，且更偏向于工程，具有強烈的工程性。因此，在技術(shù)上人們習慣于從工作過(guò)程等方面來(lái)分析，并按其關(guān)鍵技術(shù)部份分為數據的抽取、存儲與管理以及數據的表現等三個(gè)基本方面。 

1)      數據的抽?。?nbsp;

    數據的抽取是數據進(jìn)入倉庫的入口。由于數據倉庫是一個(gè)獨立的數據環(huán)境，它需要通過(guò)抽取過(guò)程將數據從聯(lián)機事務(wù)處理系統、外部數據源、脫機的數據存儲介質(zhì)中導入到數據倉庫。 

2) 存儲和管理： 

    數據倉庫的真正關(guān)鍵是數據的存儲和管理。數據倉庫的組織管理方式?jīng)Q定了它有別于傳統數據庫，同時(shí)也決定了其對外部數據的表現形式。要決定采用什么產(chǎn)品和技術(shù)來(lái)建立數據倉庫的核心，則需要從數據倉庫的技術(shù)特點(diǎn)著(zhù)手分析。  

3)　數據的表現： 

    數據表現實(shí)際上相當于數據倉庫的門(mén)面，其性能主要集中在多維分析、數理統計和數據挖掘方面。而多維分析又是數據倉庫的重要表現形式，近幾年來(lái)由于互聯(lián)網(wǎng)的發(fā)展，使得多維分析領(lǐng)域的工具和產(chǎn)品更加注重提供基于Web前端聯(lián)機分析界面，而不僅僅是在網(wǎng)上發(fā)布數據。 

    數據倉庫技術(shù)應用領(lǐng)域非常廣，凡是涉及到數據分析，報表匯總，決策支持等與數據有關(guān)的信息系統，都是其應用的范圍。 

3．智能卡 

    智能卡即IC卡，就是集成電路卡。它的顯著(zhù)特征就是自身嵌裝有微處理器及大容量存儲器等集成電路芯片。IC卡是伴隨著(zhù)半導體技術(shù)的發(fā)展和社會(huì )對信息安全性等要求的日益提高而應運而生的，經(jīng)過(guò)近幾十年的發(fā)展，其技術(shù)日趨成熟，目前在國內外均已經(jīng)得到了很廣泛的應用。由于IC卡采用了當今最先進(jìn)的半導體制造技術(shù)和信息安全技術(shù)，相對于其他卡具，如磁卡等，主要有以下優(yōu)點(diǎn)：  
    ① 存儲容量大：因其內部有集成電路存儲器芯片，存儲容量可達幾兆字節，為磁卡的幾千至幾萬(wàn)倍。IC卡的存儲器可以分成若干應用區，分別存儲文字、聲音、圖形、圖像等各種信息，便于一卡多用，方便保管。  
    ② 安全性能高：加密IC卡從硬件和軟件等幾個(gè)方面實(shí)施其安全策略，可以控制卡內不同存儲區域的存取特性。IC卡本身具有安全密碼，卡內的信息加密后不可復制。只有密碼核對正確后才能對卡內的信息進(jìn)行讀寫(xiě)操作，對安全密碼核對錯誤時(shí)，卡片具有自毀功能；而磁卡等一般只能用功能較弱的軟件加密措施，存儲信息很容易被復制，安全性較差。 
    ③ IC卡防磁、防一定強度的靜電，一般至少可重復讀寫(xiě)十萬(wàn)次以上，使用壽命長(cháng)，可靠性比磁卡高。且IC卡體積小、重量輕，便于攜帶，易于使用。 
    ④ IC卡的讀寫(xiě)機構比磁卡的讀寫(xiě)機構簡(jiǎn)單可靠、造價(jià)便宜，維護方便，推廣容易。 正是由于這些優(yōu)點(diǎn)，IC卡越來(lái)越受重視，其市場(chǎng)迅速遍及世界各地，而其應用領(lǐng)域也從最初單一的銀行信用卡領(lǐng)域，滲透到包括稅務(wù)征收、付費電話(huà)、健康記錄、身份認證、賓館旅游等多個(gè)領(lǐng)域。 

    IC卡的使用，應該說(shuō)還有很大的擴展空間，上面所說(shuō)，只是其中一部分，推而廣之，各行業(yè)中的辦公自動(dòng)化(OA)系統、考勤系統、甚至人員的工資等，均可用IC卡作為身份認證、數據查詢(xún)及數據存儲，真正實(shí)現一卡多用。 

    即將開(kāi)始試驗使用的我國第二代身份證采用非接觸IC卡技術(shù)，是最大的IC卡應用項目。它的使用，對加強我國人口信息化的安全性和高效性將起到十分重要的作用。 

4．二者的結合 

    智能IC卡作為與信息系統的接口，大量業(yè)務(wù)數據的產(chǎn)生與它有關(guān)。包括銀行，電信，稅務(wù)，海關(guān)等積累了大量的數據，業(yè)務(wù)人員與決策人員都希望能夠從中發(fā)現可利用的，有價(jià)值的信息。在這樣的需求下，數據倉庫技術(shù)便在智能卡應用領(lǐng)域迅速的推廣開(kāi)來(lái)。 

    以煙草行業(yè)為例，基于Sybase（美國數據庫供應商）數據倉庫技術(shù)的煙草商業(yè)信息系統。分為五個(gè)版本：為國家專(zhuān)賣(mài)局(煙草總公司)、省煙草公司(省煙草專(zhuān)賣(mài)局)、地區級煙草公司(煙草專(zhuān)賣(mài)局)也叫煙草分公司(分公司煙草專(zhuān)賣(mài)局)、縣煙草公司(煙草專(zhuān)賣(mài)局)、煙草批發(fā)部。數據是垂直分布，并且是有關(guān)聯(lián)性的。以便完成購銷(xiāo)業(yè)務(wù)、匯總處理和查詢(xún)功能。 

    針對煙草行業(yè)的業(yè)務(wù)特點(diǎn)，系統分為八個(gè)子系統進(jìn)行設計：日常業(yè)務(wù)管理子系統、倉儲管理子系統、商品帳核算子系統、專(zhuān)賣(mài)管理子系統、價(jià)格管理子系統、通用報表子系統、綜合查詢(xún)子系統、移動(dòng)訪(fǎng)銷(xiāo)、配送、稽查系統。 

    靈活的IC卡銷(xiāo)售及專(zhuān)賣(mài)管理是其中的一個(gè)重要子系統。門(mén)店銷(xiāo)售時(shí)系統在商戶(hù)IC卡上記錄銷(xiāo)售數據，送貨時(shí)通過(guò)移動(dòng)式IC卡讀寫(xiě)器對商戶(hù)作卷煙銷(xiāo)售，銷(xiāo)售記錄同時(shí)記入商戶(hù)IC卡和IC卡讀寫(xiě)器，并自動(dòng)上傳到MIS系統；專(zhuān)賣(mài)檢查人員也可以通過(guò)移動(dòng)式IC卡讀寫(xiě)器對商戶(hù)進(jìn)行專(zhuān)賣(mài)檢查，將檢查結構同時(shí)記入商戶(hù)IC卡和IC卡讀寫(xiě)器，自動(dòng)上傳到MIS系統。并抽取到數據倉庫數據服務(wù)器供決策支持使用。 

    整個(gè)系統結合了數據倉庫和智能IC卡的特點(diǎn)。充分考慮到系統的融合與獨立性。實(shí)現了如下的一些特點(diǎn)： 

1．實(shí)現數據的采集 

2．高效的IC卡專(zhuān)賣(mài)的管理 

3．高效率的存儲和查詢(xún) 

    這樣的系統充分集合了數據倉庫與智能卡二者的優(yōu)點(diǎn)，使整個(gè)體系有了完整的信息化流程。 

    中國是人口大國，人口的管理一直是國家非常重視的。作為人口系統化的重要部分，我國第一代身份證以其保密性差，易仿造等諸多缺點(diǎn)，已經(jīng)不能滿(mǎn)足未來(lái)的需要。即將取而代之的第二代身份證將采用非接觸IC卡技術(shù)，在防偽性、保密性等方面將有質(zhì)的飛躍。 

    人口信息系統最大的特點(diǎn)是數據量大，每年的調查格式不盡相同。以中等城市人口統計數據為例，許多歷年的、大量的人口調查原始資料多以紙介質(zhì)、軟盤(pán)、磁帶等形式存儲在資料庫里，這些寶貴的資料，一方面面臨外部環(huán)境對傳統保存方式數據安全性的挑戰，另一方面各業(yè)務(wù)部門(mén)和相關(guān)單位也有充分利用、進(jìn)行數據挖掘的迫切需求。而數據倉庫的應用，是一種最佳解決之道。 

    舉例來(lái)說(shuō)，某市人口約900萬(wàn)，第四次人口普查數據加上近十年的人口調查資料、勞動(dòng)力情況調查資料和社區情況調查資料，原始數據量約10GB。針對人口系統的特點(diǎn)，采用了數據倉庫技術(shù)并面向主題設計了最佳數據模型和數據字典。人口數據的整理需要一定的時(shí)間，在項目的實(shí)施過(guò)程中數據整理工作和數據加載工作同步進(jìn)行。第四次人口普查900萬(wàn)條數據和1990年至今近十年的抽樣調查數據已全部加載到人口數據倉庫。 

    人口信息數據大，對數據倉庫引擎和數據加載工具有極高的性能要求。NCR（作為以硬件為主的的數據倉庫解決方案提供商）它的Teradata數據倉庫是完全并行的數據庫，速度非常之快；NCR的FastLoad數據加載工具也是并行的，可以啟動(dòng)多個(gè)會(huì )話(huà)進(jìn)程，加載900萬(wàn)人口數據僅需15分鐘，這對其它數據庫來(lái)說(shuō)是不可想象的。 

    人口系統的應用特點(diǎn)是各年度的絕對調查指標之間缺少可比性，要對原始數據進(jìn)行加工整理，在原始數據基礎之上派生各種相對分析指標，如人口分布、年齡結構、生育結構、家庭結構、婚姻狀況等以滿(mǎn)足各年度之間的分析研究?？紤]到通用性和便于統計業(yè)務(wù)人員進(jìn)行分析，我們設計了一個(gè)通用的、功能強大的、靈活的派生數據模塊，利用后臺處理和Teradata快速的特點(diǎn)，能將原始數據生成相對通用的派生數據。派生數據已將指標代碼轉化成漢字屬性，并計算和產(chǎn)生了許多新的屬性字段，在派生數據基礎之上，利用報表工具（如Brio工具），統計業(yè)務(wù)人員和人口研究人口可以隨機產(chǎn)生各種報表，可以作各種各樣的聯(lián)機分析處理這將大大提高了工作效率。加上未來(lái)第二代身份證采用非接觸IC卡技術(shù)，在安全性、唯一性方面有強有力的保障。使人口信息系統在數據識別，信息交互方面以及與底層數據通訊速度方面都將有很大的提高。 

5.前景展望 

    數據倉庫工程是一個(gè)復雜的信息集成工程,需要有事先周密的規劃。通過(guò)對數據倉庫工程進(jìn)行規劃， 要明確分析信息的需求和現狀，提出如何通過(guò)采用相應技術(shù)，實(shí)施可行的工程化步驟，達到工程項目的預期目標。隨著(zhù)數據倉庫技術(shù)和智能卡在各行業(yè)及企業(yè)的應用，二者的結合也將趨于成熟。為政府，企業(yè)決策提供更先進(jìn)的技術(shù)手段，必將進(jìn)一步加強政府，企業(yè)的管理和決策職能。數據倉庫技術(shù)在不遠的將來(lái)，必將在我國的信息化的建設中發(fā)揮重要作用。