2019/11/04 招標信息
一、采購條件
內蒙古蒙草草原生態(tài)大數據研究院有限公司針對生態(tài)大數據數據管理平臺項目競爭性談判。
二、項目概況
(一)項目名稱:生態(tài)大數據數據管理平臺項目
(二)項目編號:MCSTHJ-2019-FW015
(三)采購方式:公開競爭性談判
(四)資金來源:專項資金
(五)資金落實情況:已落實
三、采購內容
(一)融合數據產品工具
基于融合數據軟件,建立數據融合采集系統(tǒng),實現結構化、半結構化、非結構化數據的采集能力,有效解決蒙草集團內外部數據收集和轉換和匯總的問題。具體技術指標要求如下:
1.數據接入
(1)支持國內外主流的關系型數據庫,包括:Oracle、DB2、Teradata、SQL Server、Sybase、Informix、MySQL、PostgreSQL、Greenplum、Netezza、Vertica、Teradata、人大金倉數據庫KingbaseES、南大通用Gbase、華為Libra、達夢數據庫DM、神通數據庫等。
(2)支持普通文本、CSV、XML、Excel、Json等多種格式的文件的接入。
(3)支持HTTP、JMS、FTP、Web Services等協(xié)議和其他應用系統(tǒng)進行交互。
(4)支持消息傳輸通道(Kafka輸入,Kafka輸出)、大數據搜索引擎組件(ElasticSearch輸入、ElasticSearch輸出)等。
(5)支持大數據存儲和訪問,支持大數據環(huán)境的數據采集。支持MongoDB、HBase等主流大數據數據庫等,支持大數據存儲載體Hadoop,適配SDC Hadoop、Apache開源大數據平臺、華為大數據平臺安全模式、星環(huán)大數據平臺安全模式等國內主流大數據平臺。
2.數據轉換
(1)支持拖拽的方式快速構建各種數據集成流程化設計。
(2)轉換組件主要涵蓋空值替換、數據校驗、常量值、值映射、字段選取、數據去重、排序、字符切割、字符替換、拆分字段、值運算、值連接、范圍劃分、行列轉換等復雜處理;
(3)作業(yè)組件主要涵蓋文件處理,大數據處理,配置處理條件,自定義腳本等任務配置組件。
(4)支持文件和數據斷點續(xù)傳:支持G級別大小的文件斷點續(xù)傳,傳輸過程中網絡中斷后,在重新傳輸時,通過檢測文件長度和斷點位置,從斷點處開始傳輸,可節(jié)省時間和其它資源。
3.任務監(jiān)控
支持可視化任務監(jiān)控:以可視化界面監(jiān)控任務運行詳情、數據處理流程、任務執(zhí)行日志、步驟度量和歷史詳情,并提供實時報警。
4.作業(yè)調度
提供強大的調度引擎,支撐各種復雜的任務調度流程的高效運行,為海量的異構數據集成提供保障。支持關系型數據采集、大數據采集(Hbase采集)、文件數據采集、接口數據采集任務的統(tǒng)一管理和調度。
(二)數據治理產品工具
以國標、行標等數據規(guī)范為指導,結合蒙草自有基礎數據規(guī)范標準,針對蒙草業(yè)務系統(tǒng),對其數據進行整合集成。構建元數據管理、數據標準管理、數據質量管理、數據資產管理、數據服務等功能模塊。主要模塊具體技術指標要求如下:
1.元數據管理
(1)支持基于CWM元數據標準實現對業(yè)務元數據、技術元數據、管理元數據的統(tǒng)一管理和存儲。
(2)支持基于CWM元數據標準實現對業(yè)務元數據、技術元數據、管理元數據的統(tǒng)一管理和存儲。
(3)提供影響分析、血緣分析、全鏈分析、關聯分析等功能,支持業(yè)務元數據和技術元數據關聯關系自動解析,提供友好的圖形展示分析功能。
(4)支持元數據權限管理,可按照用戶和角色進行授權,權限顆粒度細化到按照列和行進行授權。
(5)支持元數據地圖的全景關系展示,可下鉆到表、字段級別查看血緣關系。
2.數據標準管理
(1)依據數據訪問頻率、數據引用情況、數據唯一性、元數據屬性、等進行智能識別,基于技術元數據的分類作為樣本進行訓練,智能生成數據元標準和數據集。
(2)支持智能生成數據元與技術元數據、數據集與技術元數據的關聯關系。
(3)支持針對數據元標準的規(guī)則配置,包括類型,長度,值域,正則表達式,數據范圍。
3.數據質量管理
(1)支持大數據主流廠商Hive、HBase數據源的數據質量任務運行能力,主要包括(SDC Hadoop、CDH、HDP、星環(huán)TDH、華為Fusioninsight)。
(2)支持雙引擎模式,針對不同數據量的質量任務提供分布式任務和集群任務同時設計、運行、輸出質量報告。
(3)支持通過識別技術元數據與業(yè)務元數據的關系,智能生成待治理表的質量規(guī)則,智能生成質量規(guī)則包括數據格式校驗、值域校驗、數據范圍校驗、正則表達式校驗、空值校驗。
(4)支持拖拽的方式快速構建各種數據校驗流程化設計。校驗組件涵蓋數據格式校驗、數據范圍校驗、正則表達式、值域校驗、字段值缺失、唯一性校驗、記錄數缺失、Switch/case、主外鍵一致性校驗、字段值比對、身份證校驗、及時性校驗、精度校驗、JavaScript、Java;支持校驗規(guī)則的自定義,支持校驗流程分支設計。
(5)探查和識別數據,可以針對數據進行準確性、完整性、唯一性等類別進行自動識別,自動生成質量報告,提升數據管理水平??砂凑漳辍⒃?、季度等時間維度,也可按照每個數據源的維度生成質量報告,支持質量報告的下載。
4.數據資產管理
(1)支持對數據資產全生命周期管理,根據自定義策略,可將數據及關聯的文件進行自動化的清理和歸檔。
(2)支持數據地圖功能,支持從宏觀角度可視化查看各存儲介質之間數據流向關系,支持從數倉分層到數據庫的下鉆及相關信息的展示,支持數據庫逐層下鉆。
5.數據共享服務
(1)支持通過web界面即可完成數據服務接口的服務發(fā)布、審核、共享,無需編程人員開發(fā)代碼。
(2)支持數據脫敏:規(guī)則配置簡單易用,支持替換,截斷,掩碼,重排,日期偏移取整脫敏規(guī)則的配置。
(三)數據倉庫建設
遵循數據標準的數據信息項和標準代碼,結合國內外綜合科學模型建設方法,作為邏輯數據模型建設的參考標準,構建蒙草數據資源倉庫為四層架構設計,其中包括ODS數據準備層、DWD數據基礎層、DM數據集市層、數據應用層。
詳細采購內容見《競爭性談判文件》
四、投標人資格要求
(一)具有足夠資產和能力來有效地履行合同,近三年無違法違規(guī)行為,沒有處于被責令停業(yè)或破產狀態(tài),且資產未被重組、接管和凍結。
(二)有依法繳納稅收和社會保障資金的良好記錄。
(三)有獨立項目開發(fā)成功案例,須提本次項目規(guī)模相當的成功案例。
(四)近3年內未出現過驗收未獲通過的項目或者應由企業(yè)承擔責任的用戶重大投訴。
五、公告發(fā)布媒介
(一)中國采購與招標網 網址:www.chinabidding.com.cn
(二)內蒙古蒙草公司官網 網址:jingxi8.cn
六、報名須知及資格審查
(一)報名時間:2019年11月4日至2019年11月10日,8:30-12:00, 14:30-18:00時(北京時間,下同),報名截止時間為2019年11月10日18:00,逾期不再受理。
(二)報名方式:投標人填寫《投標報名表》,簽字確認并連同企業(yè)營業(yè)執(zhí)照、開戶許可證、軟件資質于報名截止時間前發(fā)回到服務中心報名郵箱yyang0102@126.com。(注:報名表需word版+掃描蓋章版)采購人在指定日期回復競談文件至對應報名郵箱,不需要現場領取)。
七、競談文件的獲取
(一)獲取時間:2019年11月4日至2019年11月10日,上午8:30-12:00,下午13:30-17:30,逾期不再受理。
八、其他事項
(一)開標時間:2019年11月11日上午9:00時
開標地點:內蒙古呼和浩特市新城區(qū)蒙草集團百草園會議室
(二)本次招標不接受聯合體投標,不接受郵寄投標。
(三)投標費用:投標人應承擔其編制與遞交投標文件所涉及的一切費用,無論投標結果如何,采購人對上述費用概不負責,均由投標人承擔。
九、聯系方式
采購人:內蒙古蒙草草原生態(tài)大數據研究院有限公司
投標報名聯系人及電話: 楊陽 18248115918
需求部門答疑聯系人及電話: 徐敏 15548139860
電 話:0471-6695191-810
傳 真:0471-6695192
郵 箱:yyang0102@126.com
附件一:投標報名表
采購人:內蒙古蒙草草原生態(tài)大數據研究院有限公司
日期:二○一九年十一月四日
報名表下載鏈接
fd8ce6b1e1384fc401ff65fdadede8dd.docx