“每18個(gè)月，全球新增的信息量都能達(dá)到或超過以往全部信息量的總和。”著名數(shù)據(jù)庫專家Jim Gray提出的摩爾定理定義了當(dāng)今社會數(shù)據(jù)量的發(fā)展趨勢。近年來,大數(shù)據(jù)在以爆發(fā)性的態(tài)勢蓬勃發(fā)展，數(shù)據(jù)已被視為企業(yè)運(yùn)行的“新型石油”，成為決策成本產(chǎn)生巨變的爆發(fā)點(diǎn)。但數(shù)據(jù)作為一個(gè)術(shù)語本身，并不能帶給企業(yè)任何價(jià)值，其核心價(jià)值在于尋找有用的信息幫助企業(yè)作出更好的商業(yè)決策。

    在這一大背景下，近年來，江蘇省郵政公司一直致力于大數(shù)據(jù)的研究工作。

    從2010年起，江蘇郵政信息技術(shù)局在為企業(yè)各級單位提供數(shù)據(jù)抽取統(tǒng)計(jì)及報(bào)表服務(wù)的同時(shí)，積極圍繞企業(yè)轉(zhuǎn)型發(fā)展的熱點(diǎn)問題開展專題研究及分析工作。但在剛嘗到數(shù)據(jù)給企業(yè)帶來的“福利”時(shí)，數(shù)據(jù)分析工作的開展卻變得愈發(fā)“吃力”。近年來，江蘇郵政數(shù)據(jù)量以幾何倍數(shù)增長，同時(shí)數(shù)據(jù)調(diào)閱、分析需求越來越多，時(shí)限要求也越來越高，但數(shù)據(jù)存儲和分析速度一直無法突破（1TB的磁盤，數(shù)據(jù)傳輸速度100MB/s，僅讀取一遍就需要2.5小時(shí)）。江蘇郵政數(shù)據(jù)分析團(tuán)隊(duì)通過延長工作時(shí)間來滿足業(yè)務(wù)需求，但數(shù)據(jù)分析工作和日益增長的數(shù)據(jù)量及需求之間的矛盾，僅依靠疊加作業(yè)量并不能得到根本性的解決，新技術(shù)的應(yīng)用研究成為突破瓶頸的根本出路。

    今年以來，江蘇郵政數(shù)據(jù)分析團(tuán)隊(duì)在對業(yè)界的各類技術(shù)平臺和應(yīng)用場景學(xué)習(xí)、了解的基礎(chǔ)上，驗(yàn)證了各類技術(shù)解決方案的有效性和可靠性,結(jié)合全省郵政數(shù)據(jù)分析工作實(shí)際情況，引入了Hadoop大數(shù)據(jù)平臺。目前，江蘇郵政已完成Hadoop大數(shù)據(jù)平臺的搭建，并投入使用。每天通過該平臺中的Sqoop組件，將下載平臺中cpdds_sdata用戶下常用的增量表從關(guān)系型數(shù)據(jù)庫中抽取到Hadoop的HDFS中，以供查詢調(diào)用。通過在MapReduce中編寫程序或在Hive上編寫QL語言來分析抽取出的數(shù)據(jù)。在此基礎(chǔ)上進(jìn)一步使用高級數(shù)據(jù)分析技巧和數(shù)據(jù)可視化技術(shù)對處理后的數(shù)據(jù)進(jìn)行進(jìn)一步加工，也可以將數(shù)據(jù)從Hadoop集群轉(zhuǎn)移到現(xiàn)有的關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫等傳統(tǒng)的IT系統(tǒng)中，以適應(yīng)現(xiàn)有建立在傳統(tǒng)數(shù)據(jù)庫基礎(chǔ)上的應(yīng)用程序，極大地縮短了任務(wù)處理時(shí)間，提高了項(xiàng)目效率。

    Hadoop作為大數(shù)據(jù)處理系統(tǒng)的新一代的架構(gòu)和技術(shù)，在業(yè)界中被廣泛應(yīng)用,以自身在數(shù)據(jù)提取、變形和加載方面的天然優(yōu)勢，已被公認(rèn)為新一代的大數(shù)據(jù)處理平臺，IBM、Microsoft以及Oracle等都紛紛投入了Hadoop的懷抱，該項(xiàng)技術(shù)的應(yīng)用已遍布互聯(lián)網(wǎng)、電信、電子商務(wù)、銀行、物流等眾多領(lǐng)域。Yahoo!用Hadoop處理網(wǎng)絡(luò)連接之間的網(wǎng)頁索引資料，為用戶提供高質(zhì)量的搜索服務(wù)；Facebook借助集群運(yùn)行Hadoop，支持?jǐn)?shù)據(jù)分析和機(jī)器學(xué)習(xí)；百度使用Hadoop進(jìn)行搜索日志的分析和網(wǎng)頁數(shù)據(jù)的挖掘；淘寶的Hadoop系統(tǒng)用于存儲并處理電子商務(wù)交易的相關(guān)數(shù)據(jù)。隨著信息技術(shù)的不斷發(fā)展，新商業(yè)模式的不斷涌現(xiàn)，Hadoop應(yīng)用也會向更多的領(lǐng)域發(fā)展。

    依托Hadoop大數(shù)據(jù)處理技術(shù)，江蘇郵政將以更加開放的姿態(tài)擁抱大數(shù)據(jù)的未來，進(jìn)一步加快數(shù)據(jù)在企業(yè)的戰(zhàn)略布局，為江蘇郵政在大數(shù)據(jù)時(shí)代迅速應(yīng)對政策變化，提升應(yīng)對利率市場化、金融脫媒、金融業(yè)態(tài)演變等挑戰(zhàn)能力提供驅(qū)動力。后期將進(jìn)一步推進(jìn)移動BI技術(shù)的應(yīng)用研究，幫助企業(yè)通過更快速的方式傳導(dǎo)運(yùn)營信息，加快數(shù)據(jù)分析應(yīng)用，以應(yīng)對外部環(huán)境的瞬息萬變，輔助迅速決策。