產品背景
大數據平臺需要解決大數據的存儲、大數據的快速檢索、分布式計算、支持結構化數據、平臺應用需支持各種不同的接入等特性，具體主要有以下方面：
??系統架構能支持未來3至5年的大數據整體規劃。
??數據平臺能滿足對數據快速檢索的要求。
??構建大數據平臺，未來不限于現有大數據應用系統功能。
??系統平臺需支持結構化數據和非結構化數據處理。
??需要平滑遷移各系統構建的查詢統計功能、分析批處理功能等。
??作為數據提供平臺能支持各種不同架構、不同語言構建的系統的多種接入。
??要求高吞吐能力，高并發訪問。
??系統具備高可靠性。
??系統要求高擴展性。
??系統要求高效性。
??系統要求高容錯性
產品功能
基于上述大數據平臺的背景，上海致宇推出大數據開發平臺(BDP)，主要包含統一裝載平臺（ULP）、統一實時平臺（URTP）、統一管理平臺（UMP）、統一數據服務層（UDSP）、統一開發輔助平臺（UDAP）、統一數據展示平臺（UDDP）
??統一裝載平臺ULP
集成多種數據格式和提供方式的數據采集，當前 支持結構化批量數據、結構化流式數據、結構化在線數據、非結構化網絡數據、結構化大數據對象、定制的ESB消息數據等。
??統一實時平臺 URTP
在hadoop組件（Streaming、Storm、Kafka..）基礎上封裝出統一實時平臺（URTP）。該平臺主要是內置Kafka的消息隊列， 同時封裝有多種接口類型，方便與現有系統之間的集成。
??統一管理平臺UMP
針對Hadoop研發了大量的管理工具來降低開發和運維過程中的復雜度，該平臺主要的功能有：數據調度管理、數據比對、數據質量監控、日志監控、血緣關系管理。
??統一數據服務層UDSP
針對hadoop所有的數據訪問包裝出統一數據服務平臺（UDSP），包括實時數據訪問、批量數據訪問、交互式數據訪問和數據挖掘模型管理等。極大的降低其他系統訪問開發難度和成本。
取代原先的 ESB + MQ 模式， 是基于hadoop大數據量交互的“服務總線”。
??統一開發輔助平臺UDAP
hadoop上的開發都是比較原生態的方式，需要一個好的開發工具來降低難度和提高開發效率，致宇自主研發出一套開發輔助工具來滿足hadoop上的開發和簡單運維所需
??統一數據展示平臺（UDDP）
數據可視化平臺（UDDP）， 與 UDSP能直接對接使用，支持Hadoop上的常用組件（Hbase、Solr、Hive、Impala等），讓業務人員能夠進行基本的數據分析工作。
產品應用場景案例
編號 | 技術場景 | 對應工具 | Hadoop主要組件 |
1 | 實現hadoop的數據倉庫平臺 | ULP ??：Loader/Sqoop UMP ?：調度管理、數據比對、數據質量監控、日志監控.. UDAP： IDE開發工具 | Hdfs、Hive、MR、Spark SQL、Solr/ES、Hbase、Impala/Inceptor、Sqoop |
2 | 歷史數據查詢 | ULP ??：Loader UMP ?：調度管理、數據質量監控、日志監控… UDSP： SOA UDAP：交互建模 | Hdfs、Hive、MR、Solr/ES、Hbase |
3 | 數據倉庫數據遷移 | ULP ??：Loader/Sqoop UMP ?：調度管理、數據比對、日志監控.. UDAP： IDE開發工具 | Hdfs、Hive、MR、Spark SQL、Solr/ES、Hbase、Impala/Inceptor、Sqoop |
4 | 實時流數據服務 | ULP ??：FLUME UMP ?：調度管理、數據質量監控、日志監控 URTP：streaming、Kafka UDSP： SOA | Hdfs、Hive、MR、Spark streaming、Kafka、flume、Hbase |
5 | 海量快速數據檢索 （例如CRM高級檢索、數據實驗室） | ULP ??：Loader UMP ?：調度管理、數據質量監控、日志監控… UDSP： SOA UDAP：交互建模 | Hdfs、Hive、MR、Spark SQL、Solr/ES、Hbase |
6 | 非結構化數據檢索 | ULP ??：OSS（對象存儲服務） UMP ?：調度管理、日志監控 UDSP： SOA | Hdfs、Hive、MR、Solr/ES |
7 | 知識庫管理 | ULP ??：OSS（對象存儲服務） UDSP：SOA | Hdfs、Hive、Solr |
?
經典客戶案例
??寧波銀行大數據平臺及解決方案
??臺州銀行大數據平臺及解決方案
??中國銀行上海分行大數據平臺及解決方案
??浙江稠州銀行大數據平臺及解決方案
??上海申通地鐵公司大數據平臺設計
??浙江民泰銀行大數據平臺及解決方案
??南京銀行大數據平臺及解決方案