客戶需求

通(tōng)過數(shù)據倉庫的(de)建設，打破數(shù)據孤島、形成數(shù)據合力、建設數(shù)據質量體(tǐ)系，支撐全行(xíng≤)數(shù)據應用(yòng)。解決數(shù)據加載耗時(shí)越來(lái)越長(cháng)，無法滿足目标系統對(duì)‌數(shù)據的(de)時(shí)效性要(yào)求；解決隻能(néng)處理(lǐ)結構化(huà)數(↔shù)據，無法滿足多(duō)樣化(huà)（半結構、非結構化(huà)）格式數(shù)據處理(lǐ♠)需求。

解決方案

基于大(dà)數(shù)據計(jì)算(suàn)引擎進行(xíng)信息統計(jì)，同時(shí)使用(yòng)實時(shí)處理(lǐ)工(gōng)具進行(xβíng)線上(shàng)日(rì)志(zhì)的(de)實時(shí)解析比對(duì)及處理(lǐ)；實現(xiàn)大(πdà)數(shù)據的(de)批量處理(lǐ)和(hé)快(kuài)速檢索，大(dà)大(dà)減少(shǎo)數(shù)據加載耗時(shí)，通(tōδng)過分(fēn)布式計(jì)算(suàn)避免I/O瓶頸，支持線性擴展，支持非結構化(huà)數(shù)據的(de)存儲和(hé)處理(lǐ)，對(duì)數(shù)據進行(xí ng)統一(yī)整合，實現(xiàn)多(duō)租戶管理(lǐ)；使用(yòng)流程工(gōng)具調用(yòng)每天的(de)批處理(lǐ")業(yè)務，提供穩定高(gāo)效的(de)批處理(lǐ)性能(néng)，以及高(gāo)并發，且支持全文(wén)索引下(xià)的(de)毫秒(miǎo)級查詢。

應用(yòng)效果

數(shù)據倉庫從(cóng)傳統Oracle庫遷移到(dào)大(dà)數(shù)據數(shù)倉後，并行(xíng)入庫任務性能(néng)提升±7.34倍，并行(xíng)任務最多(duō)提升46.6倍；在核心存儲過程性能(néng)方面，總體(tǐ)核心作(zu&ò)業(yè)性能(néng)提升了(le)5.7倍；大(dà)數(shù)據量批處理(lǐ)性能(né≈ng)從(cóng)小(xiǎo)時(shí)級降低(dī)到(dào)分(fēn)鐘(zhōng)級甚至秒(miǎo)級；對(duì)內(nèi)數(s®hù)據倉庫将全行(xíng)數(shù)據進行(xíng)歸集并整合，為(wèi)全行(xíng)業(yè)務應用(yòng)提供數(s•hù)據服務；對(duì)外(wài)提供了(le)涉及營銷與風(fēng)控的(de)價值數(shù)據，比如(rú)客戶畫(h©uà)像、欺詐名單等。