報(bào)告編委

　　主創(chuàng)團(tuán)隊(duì)

　　黃勇

　　愛分析合伙人&首席分析師

　　武宇

　　愛分析高級分析師

　　孟晨靜

　　愛分析分析師

　　李冬露

　　愛分析分析師

　　蘭壹凡

　　愛分析分析師

　　外部專家（按姓氏拼音排序）

　　陳玉奇

　　斗象科技首席安全架構(gòu)師

　　方正

　　數(shù)說故事產(chǎn)品總監(jiān)

　　郭振強(qiáng)

　　科杰科技副總裁

　　孔德明

　　網(wǎng)易數(shù)帆流通行業(yè)大數(shù)據(jù)實(shí)施交付總監(jiān)

　　劉誠忠

　　衡石科技CEO

　　喬昕

　　深睿醫(yī)療聯(lián)合創(chuàng)始人/CEO

　　孫妍

　　觀遠(yuǎn)數(shù)據(jù)副總裁

　　王申

　　九章云極銀行BU總經(jīng)理

　　王爽

　　锘崴科技創(chuàng)始人、董事長

　　王一剛

　　中科聞歌數(shù)智媒宣事業(yè)部總經(jīng)理

　　特別鳴謝（按拼音排序）

　　報(bào)告摘要

　　湖倉一體強(qiáng)化全域數(shù)據(jù)管理效能

　　為解決數(shù)據(jù)類型豐富、數(shù)據(jù)體量倍增帶來的存儲(chǔ)問題，同時(shí)滿足人工智能、機(jī)器學(xué)習(xí)在趨勢預(yù)測、探索分析等方面的應(yīng)用需求，同時(shí)配置數(shù)據(jù)倉庫、數(shù)據(jù)湖成為企業(yè)的普遍選擇。然而企業(yè)逐漸發(fā)現(xiàn)多架構(gòu)的配置并不完美，解決既有問題的同時(shí)帶來新的架構(gòu)問題，如數(shù)據(jù)流通低效、數(shù)據(jù)冗余以及存儲(chǔ)成本高。

　　湖倉一體能有效解決復(fù)雜架構(gòu)問題。湖倉一體通過元數(shù)據(jù)層在數(shù)據(jù)湖上實(shí)現(xiàn)全局?jǐn)?shù)據(jù)統(tǒng)一管理，支持流批一體簡化系統(tǒng)架構(gòu)，以及云原生、存算分離的特征成為數(shù)據(jù)架構(gòu)新一代進(jìn)化方向。

　　從管理到運(yùn)營，DataOps釋放數(shù)據(jù)中臺(tái)價(jià)值

　　當(dāng)前，數(shù)據(jù)中臺(tái)的功能主要體現(xiàn)在為企業(yè)打通數(shù)據(jù)孤島、建立指標(biāo)體系、實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理、資產(chǎn)管理等方面，重點(diǎn)解決企業(yè)“有數(shù)據(jù)可用”的問題。隨著數(shù)據(jù)應(yīng)用場景的豐富，數(shù)據(jù)應(yīng)用的多元化，數(shù)據(jù)開發(fā)運(yùn)維的壓力驟增，數(shù)據(jù)不可信、數(shù)據(jù)應(yīng)用交付緩慢等問題頻發(fā)。解決“數(shù)據(jù)好用”的問題成為數(shù)據(jù)中臺(tái)實(shí)現(xiàn)數(shù)據(jù)能力復(fù)用和共享的關(guān)鍵。

　　DataOps是一套以數(shù)據(jù)為中心的數(shù)據(jù)管理及運(yùn)維開發(fā)方法論。融合DataOps方法論，數(shù)據(jù)中臺(tái)將顯著提升數(shù)據(jù)質(zhì)量、實(shí)現(xiàn)數(shù)據(jù)應(yīng)用持續(xù)敏捷交付、降低數(shù)據(jù)管理成本。DataOps實(shí)踐尚不成熟，但已經(jīng)成為數(shù)據(jù)中臺(tái)進(jìn)一步釋放數(shù)據(jù)價(jià)值的關(guān)鍵路徑。

　　高時(shí)效場景爆發(fā)，實(shí)時(shí)數(shù)據(jù)平臺(tái)支撐熱數(shù)據(jù)價(jià)值釋放

　　物聯(lián)網(wǎng)使得海量實(shí)時(shí)數(shù)據(jù)觸手可及，進(jìn)而推動(dòng)以金融、工業(yè)行業(yè)為代表的實(shí)時(shí)數(shù)據(jù)應(yīng)用的創(chuàng)新，如精準(zhǔn)營銷、風(fēng)控管理、故障預(yù)警等。企業(yè)需要對數(shù)據(jù)架構(gòu)進(jìn)行升級，實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)融合，充分利用實(shí)時(shí)數(shù)據(jù)價(jià)值。

　　實(shí)時(shí)數(shù)據(jù)平臺(tái)支持多源數(shù)據(jù)采集、提供高可用、低成本的數(shù)據(jù)同步方案，并通過流批一體的方式實(shí)現(xiàn)離線數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)統(tǒng)一存儲(chǔ)和查詢，提升企業(yè)實(shí)時(shí)場景開發(fā)和上線效率。

　　政策合規(guī)要求推動(dòng)隱私計(jì)算平臺(tái)快速滲透

　　以金融、政務(wù)、醫(yī)療為代表的行業(yè)需要通過數(shù)據(jù)跨機(jī)構(gòu)協(xié)作及共享提升服務(wù)價(jià)值、控制風(fēng)險(xiǎn)、提升效益。然而數(shù)據(jù)跨機(jī)構(gòu)的流通阻力極大，一方面，隨著《數(shù)據(jù)安全法》及《個(gè)人信息保護(hù)法》的頒布，國家對數(shù)據(jù)流通監(jiān)管加強(qiáng)；另一方面，數(shù)據(jù)資產(chǎn)等同于企業(yè)的命脈，使得企業(yè)對數(shù)據(jù)流通持十二分謹(jǐn)慎態(tài)度。

　　隱私計(jì)算能為企業(yè)實(shí)現(xiàn)數(shù)據(jù)跨機(jī)構(gòu)的流通共享。隱私計(jì)算通過聯(lián)邦學(xué)習(xí)、多方安全計(jì)算、可信執(zhí)行環(huán)境以及同態(tài)加密等一種或多種技術(shù)組合，實(shí)現(xiàn)數(shù)據(jù)流通過程中的“可用不可見”，已經(jīng)為越來越多的行業(yè)采用。

　　屬于業(yè)務(wù)人員的數(shù)據(jù)分析時(shí)代來臨

　　隨著數(shù)據(jù)應(yīng)用的深化，企業(yè)數(shù)據(jù)分析場景正在發(fā)生三個(gè)“轉(zhuǎn)變”：1、平民化：數(shù)據(jù)分析平臺(tái)的服務(wù)對象從傳統(tǒng)財(cái)務(wù)人員及管理人員向一線業(yè)務(wù)人員轉(zhuǎn)變；2、場景化：數(shù)據(jù)分析平臺(tái)的應(yīng)用場景也從財(cái)務(wù)及業(yè)績呈現(xiàn)向具體業(yè)務(wù)分析轉(zhuǎn)變；3、智能化：企業(yè)對數(shù)據(jù)分析平臺(tái)的功能需求從傳固定式的呈現(xiàn)形式向智能、個(gè)性、靈活自助的形式轉(zhuǎn)變。這對數(shù)據(jù)分析平臺(tái)的定位和功能提出了挑戰(zhàn)。

　　數(shù)據(jù)分析平臺(tái)也在與時(shí)俱進(jìn)，可以看到，市場中已經(jīng)快速出現(xiàn)多種應(yīng)對方案。如部分技術(shù)廠商通過融合NLP、機(jī)器學(xué)習(xí)、低代碼等技術(shù)使數(shù)據(jù)分析平臺(tái)具備滿足智能化、自助化的特點(diǎn)，使產(chǎn)品具備通用性；部分廠商在原本針對垂直業(yè)務(wù)場景的體系化產(chǎn)品中增加數(shù)據(jù)分析功能，為企業(yè)實(shí)現(xiàn)業(yè)務(wù)小閉環(huán)。企業(yè)可靈活根據(jù)自身業(yè)務(wù)需求選擇相應(yīng)數(shù)據(jù)分析平臺(tái)產(chǎn)品及服務(wù)。

　　數(shù)據(jù)智能行業(yè)應(yīng)用從監(jiān)測、診斷性分析走向智能決策

　　傳統(tǒng)的大數(shù)據(jù)和人工智能技術(shù)建模和分析只能識(shí)別現(xiàn)狀和問題，企業(yè)若想進(jìn)行業(yè)務(wù)決策仍需大量人工介入，嚴(yán)重依賴專家經(jīng)驗(yàn)，影響決策速度，不能適應(yīng)快速變化的市場環(huán)境。企業(yè)希望通過人工智能技術(shù)實(shí)現(xiàn)根因分析、數(shù)據(jù)關(guān)系挖掘和決策支持，從而提高決策速度。

　　智能決策技術(shù)持續(xù)迭代更新，融合大數(shù)據(jù)以及機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、運(yùn)籌優(yōu)化、知識(shí)圖譜等人工智能技術(shù)，能夠深度挖掘數(shù)據(jù)價(jià)值，構(gòu)建數(shù)據(jù)知識(shí)網(wǎng)絡(luò)，持續(xù)優(yōu)化模型精準(zhǔn)度，快速輸出優(yōu)質(zhì)的決策方案，支持企業(yè)各部門實(shí)現(xiàn)高效決策。

　　目錄

　　1.綜述：多種因素推動(dòng)，數(shù)據(jù)智能全鏈路升級

　　2.湖倉一體強(qiáng)化全域數(shù)據(jù)管理效能

　　3.從管理到運(yùn)營，DataOps釋放數(shù)據(jù)中臺(tái)價(jià)值

　　4.實(shí)時(shí)數(shù)據(jù)平臺(tái)支撐爆發(fā)中的高時(shí)效場景

　　5.政策合規(guī)要求推動(dòng)隱私計(jì)算平臺(tái)快速滲透

　　6.屬于業(yè)務(wù)端的數(shù)據(jù)分析時(shí)代來臨

　　7.數(shù)據(jù)智能行業(yè)應(yīng)用從監(jiān)測、診斷性分析走向智能決策

　　8.展望

　　1.綜述：多種因素推動(dòng)，數(shù)據(jù)智能全鏈路升級

　　數(shù)據(jù)智能是指以數(shù)據(jù)為生產(chǎn)要素，通過融合大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)分析與挖掘、機(jī)器學(xué)習(xí)、可視化等多種大數(shù)據(jù)和人工智能技術(shù)，從數(shù)據(jù)中提煉、發(fā)掘具有揭示性和可操作性的信息，從而為企業(yè)提供數(shù)據(jù)驅(qū)動(dòng)的分析與決策。

　　當(dāng)前，數(shù)據(jù)智能已經(jīng)成為企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型的核心方式。一方面，在實(shí)現(xiàn)初步數(shù)字化的基礎(chǔ)上，企業(yè)希望把數(shù)據(jù)分析擴(kuò)展到更多的應(yīng)用場景，以在業(yè)務(wù)發(fā)展與運(yùn)營中實(shí)現(xiàn)降本增效，或構(gòu)建創(chuàng)新性的業(yè)務(wù)模式；另一方面，數(shù)據(jù)規(guī)模的持續(xù)膨脹，與分析場景的更加多樣化，也對數(shù)據(jù)存儲(chǔ)、處理和分析等方面的能力提出了更高的要求，因此企業(yè)需要對數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行持續(xù)的升級與優(yōu)化。

　　本次報(bào)告將數(shù)據(jù)智能市場劃分為應(yīng)用解決方案和數(shù)據(jù)基礎(chǔ)設(shè)施兩大部分，其中應(yīng)用解決方案是指通過數(shù)據(jù)智能解決方案在垂直行業(yè)或通用職能領(lǐng)域直接賦能業(yè)務(wù)價(jià)值提升的最佳實(shí)踐；數(shù)據(jù)基礎(chǔ)設(shè)施指利用云計(jì)算、人工智能、隱私計(jì)算等新興信息技術(shù)構(gòu)建的為企業(yè)賦能的平臺(tái)類解決方案，主要包括數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算、管理等內(nèi)容，進(jìn)而為上層應(yīng)用提供數(shù)據(jù)服務(wù)。

　　圖1：數(shù)據(jù)智能市場全景地圖

　　隨著數(shù)字化轉(zhuǎn)型進(jìn)入深水區(qū)，各行各業(yè)中的數(shù)據(jù)形態(tài)和應(yīng)用端需求正在發(fā)生變化，傳統(tǒng)的以結(jié)構(gòu)化數(shù)據(jù)為主的管理和分析已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足當(dāng)前市場中企業(yè)對于數(shù)據(jù)的需求，對于多源異構(gòu)數(shù)據(jù)的管理和更加智能化的數(shù)據(jù)應(yīng)用是每一個(gè)企業(yè)在數(shù)字化時(shí)代必須構(gòu)建的能力。

　　與此同時(shí)，政策對于數(shù)據(jù)安全和隱私安全的合規(guī)要求也越來越嚴(yán)，未來更加業(yè)務(wù)友好、更加智能化、更具性價(jià)比且滿足合規(guī)要求的數(shù)據(jù)智能解決方案將成為數(shù)據(jù)智能市場發(fā)展的主流趨勢。

　　圖2：數(shù)據(jù)智能應(yīng)用趨勢

　　2.湖倉一體強(qiáng)化全域數(shù)據(jù)管理效能

　　2.1數(shù)據(jù)存儲(chǔ)異構(gòu)阻礙數(shù)據(jù)高效流通

　　隨著數(shù)據(jù)類型的豐富、數(shù)據(jù)體量的快速擴(kuò)張，以及企業(yè)希望利用人工智能、機(jī)器學(xué)習(xí)解決趨勢預(yù)測、探索分析的需求增長，數(shù)據(jù)湖與數(shù)據(jù)倉庫同時(shí)部署成為企業(yè)的普遍選擇，同時(shí)也帶來數(shù)據(jù)架構(gòu)復(fù)雜、數(shù)據(jù)流通效率低的問題。

　　圖3：數(shù)據(jù)倉庫、數(shù)據(jù)湖共存帶來的挑戰(zhàn)

　　數(shù)據(jù)架構(gòu)復(fù)雜：企業(yè)普遍有數(shù)據(jù)倉庫、數(shù)據(jù)湖以及其他多種類型的專業(yè)數(shù)據(jù)倉庫如時(shí)間序列、圖形和圖像數(shù)據(jù)庫等，導(dǎo)致企業(yè)數(shù)據(jù)架構(gòu)復(fù)雜，為技術(shù)人員運(yùn)維帶來巨大困難。

　　數(shù)據(jù)流通低效：數(shù)據(jù)倉庫、數(shù)據(jù)湖兩種數(shù)據(jù)架構(gòu)在集群層面割裂導(dǎo)致數(shù)據(jù)不能自由流通。如機(jī)器學(xué)習(xí)中數(shù)據(jù)來源于數(shù)據(jù)倉庫或數(shù)據(jù)湖，難以跨架構(gòu)進(jìn)行數(shù)據(jù)融合分析，增加了數(shù)據(jù)流通和計(jì)算開發(fā)成本。

　　數(shù)據(jù)冗余，存儲(chǔ)成本高：數(shù)據(jù)倉庫、數(shù)據(jù)湖的同時(shí)存在也會(huì)造成數(shù)據(jù)冗余，且隨著數(shù)據(jù)量增長，存儲(chǔ)成本將持續(xù)攀升，超大規(guī)模體量數(shù)據(jù)的計(jì)算性能也將持續(xù)下降。

　　企業(yè)尋求一種數(shù)據(jù)架構(gòu)，可以兼具數(shù)據(jù)倉庫成長性和數(shù)據(jù)湖靈活性的同時(shí)，提供一套共同的數(shù)據(jù)標(biāo)準(zhǔn)，提高數(shù)據(jù)流動(dòng)靈活性，提升數(shù)據(jù)效能。針對此需求，湖倉一體應(yīng)運(yùn)而生，是繼數(shù)據(jù)倉庫、數(shù)據(jù)湖之后數(shù)據(jù)架構(gòu)的最新解決方案。

　　2.2湖倉一體引領(lǐng)數(shù)據(jù)架構(gòu)迭代更新

　　圖4：湖倉一體架構(gòu)示意圖

　　湖倉一體在技術(shù)架構(gòu)、功能和性能層面主要具備以下主要特征：

　　通過元數(shù)據(jù)層在數(shù)據(jù)湖上實(shí)現(xiàn)數(shù)據(jù)管理功能。智能湖倉使用標(biāo)準(zhǔn)文件格式（如Parquet）將數(shù)據(jù)存儲(chǔ)在對象存儲(chǔ)中，并在對象存儲(chǔ)上構(gòu)建元數(shù)據(jù)層，從而在元數(shù)據(jù)層實(shí)現(xiàn)諸如ACID事務(wù)處理、版本控制等數(shù)據(jù)管理功能，使得多種計(jì)算引擎可以共享統(tǒng)一的數(shù)據(jù)存儲(chǔ)。同時(shí)，通過對緩存、輔助數(shù)據(jù)結(jié)構(gòu)（如索引、統(tǒng)計(jì)信息）和數(shù)據(jù)布局進(jìn)行優(yōu)化，智能湖倉也具備了良好的SQL性能。

　　流批一體，簡化系統(tǒng)架構(gòu)。智能湖倉可以實(shí)現(xiàn)批處理與流處理的統(tǒng)一，通過CDC（ChangeDataCapture）將業(yè)務(wù)系統(tǒng)數(shù)據(jù)實(shí)時(shí)抽取到數(shù)據(jù)湖，實(shí)時(shí)加工后傳輸至OLAP系統(tǒng)中對外服務(wù)，實(shí)現(xiàn)端到端過程的分鐘級時(shí)延。與此同時(shí)，系統(tǒng)架構(gòu)得到簡化，大幅降低了系統(tǒng)維護(hù)以及數(shù)據(jù)開發(fā)工作的難度。

　　云原生、存算分離?；谠圃軜?gòu)，智能湖倉存儲(chǔ)和計(jì)算資源得到有效分離，企業(yè)可以基于需求靈活地對存儲(chǔ)和計(jì)算資源進(jìn)行分別擴(kuò)展，且擴(kuò)展需求幾乎沒有限制，從而實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)查詢與分析的高性能，并顯著降低TCO（TotalCostofOwnership）。

　　案例1：某跨國零售集團(tuán)建設(shè)統(tǒng)一數(shù)據(jù)底座，全面提升數(shù)據(jù)管理運(yùn)營效率

　　某海外跨國綜合零售及服務(wù)集團(tuán)為世界500強(qiáng)企業(yè)，主營商業(yè)零售、地產(chǎn)、金融、健康、游戲娛樂5大主要業(yè)態(tài)，旗下包含數(shù)百家成員公司，在日本、中國、東南亞等地區(qū)具有廣泛影響力。

　　舊架構(gòu)難服務(wù)新零售，數(shù)據(jù)開發(fā)管理應(yīng)用全流程能力需提升

　　近年來，“新零售”的崛起為零售行業(yè)持續(xù)帶來巨大變革，該零售集團(tuán)也希望借助其商超和供應(yīng)鏈優(yōu)勢開辟線上——線下到家業(yè)務(wù)，并通過逐步構(gòu)建完善的線上零售體系，實(shí)現(xiàn)傳統(tǒng)零售業(yè)務(wù)的全面轉(zhuǎn)型。

　　經(jīng)過多年數(shù)字化建設(shè)，該集團(tuán)陸續(xù)在本地和云上建成多個(gè)數(shù)據(jù)倉庫，并面向整個(gè)集團(tuán)建立了統(tǒng)一的CDP平臺(tái)，沉淀了豐富的數(shù)據(jù)資源。然而線上業(yè)務(wù)的開展引發(fā)了數(shù)據(jù)量激增，底層數(shù)據(jù)架構(gòu)混亂、端到端數(shù)據(jù)運(yùn)營分析能力落后的問題暴露無疑。具體而言：

　　1.煙囪式建設(shè)，數(shù)據(jù)資產(chǎn)不統(tǒng)一。該集團(tuán)數(shù)據(jù)存、算基礎(chǔ)設(shè)施均是以需求為導(dǎo)向進(jìn)行階段性單點(diǎn)建設(shè)而成，建立在離線、微軟云、亞馬遜云之上的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)調(diào)度、實(shí)時(shí)計(jì)算工具等縱橫交織，底層技術(shù)?；靵y，這直接導(dǎo)致了集團(tuán)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)口徑不統(tǒng)一，數(shù)據(jù)開發(fā)格式和數(shù)據(jù)開發(fā)工具相互獨(dú)立，難以形成統(tǒng)一數(shù)據(jù)資產(chǎn)。

　　2.業(yè)務(wù)穩(wěn)定性、即時(shí)性不達(dá)標(biāo)。該集團(tuán)數(shù)據(jù)倉庫層次結(jié)構(gòu)不清晰，數(shù)據(jù)域、主題設(shè)計(jì)不合理，導(dǎo)致數(shù)據(jù)重復(fù)開發(fā)和計(jì)算問題嚴(yán)重，數(shù)據(jù)分析低效且耗費(fèi)大量資源。在數(shù)據(jù)分析需求激增的情況下，原有云資源算力和存儲(chǔ)都達(dá)到瓶頸，一項(xiàng)數(shù)據(jù)分析需求的響應(yīng)往往需要2-3天，大大影響了任務(wù)穩(wěn)定性和即時(shí)性，無法滿足業(yè)務(wù)需求。

　　3.數(shù)據(jù)全流程運(yùn)營管理方法不健全，服務(wù)能力差。該集團(tuán)分別采購海外供應(yīng)商抽取、集成、調(diào)度、監(jiān)控、服務(wù)等數(shù)據(jù)開發(fā)管理工具，但這些工具之間彼此割裂，不僅導(dǎo)致數(shù)據(jù)全流程運(yùn)營效率低，通過代碼開發(fā)出的數(shù)據(jù)能力無法復(fù)用，影響對外開放賦能，同時(shí)導(dǎo)致數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家、業(yè)務(wù)人員、管理人員等不同角色之間無法有效協(xié)作。

　　該集團(tuán)經(jīng)內(nèi)部評估規(guī)劃，決定面向整個(gè)集團(tuán)當(dāng)下及未來5-10年數(shù)字化轉(zhuǎn)型需要，統(tǒng)一數(shù)據(jù)存、算基礎(chǔ)設(shè)施，并通過全方位數(shù)據(jù)治理統(tǒng)一全域數(shù)據(jù)資產(chǎn)，健全數(shù)據(jù)開發(fā)、管理、運(yùn)營全流程體系，從而支持智能化應(yīng)用，統(tǒng)一開放賦能，并最終將整套成功經(jīng)驗(yàn)推廣復(fù)制到該集團(tuán)的全球市場。

　　通過長時(shí)間細(xì)致地對眾多國內(nèi)外優(yōu)秀廠商及其客戶進(jìn)行實(shí)地調(diào)研和技術(shù)驗(yàn)證，以及對各廠商產(chǎn)品的開放式體驗(yàn)，該集團(tuán)發(fā)現(xiàn)，國外廠商工具能力較強(qiáng)，但不同數(shù)據(jù)開發(fā)管理工具彼此獨(dú)立，無法形成有機(jī)串聯(lián)，導(dǎo)致數(shù)據(jù)工具和數(shù)據(jù)治理體系“兩張皮”，無法實(shí)現(xiàn)該集團(tuán)構(gòu)建統(tǒng)一數(shù)據(jù)資產(chǎn)管理運(yùn)營體系的需求。而科杰科技在工具能力與國外廠商旗鼓相當(dāng)?shù)幕A(chǔ)上，將數(shù)據(jù)資產(chǎn)管理運(yùn)營全流程的方法論和最佳實(shí)踐融入數(shù)據(jù)工具設(shè)計(jì)中，使客戶能夠使用科杰科技全套產(chǎn)品構(gòu)建統(tǒng)一、可持續(xù)的企業(yè)級數(shù)據(jù)資產(chǎn)運(yùn)營管理體系。因此該集團(tuán)最終選擇科杰科技作為合作伙伴。

　　北京科杰科技有限公司（簡稱“科杰科技”）是領(lǐng)先的數(shù)據(jù)能力構(gòu)建商，核心技術(shù)團(tuán)隊(duì)擁有豐富的頭部互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)平臺(tái)建設(shè)和運(yùn)營經(jīng)驗(yàn)，針對多業(yè)態(tài)、多場景的大型復(fù)雜組織的數(shù)據(jù)底座建設(shè)運(yùn)營，沉淀出了一套成熟的實(shí)施方法論。現(xiàn)已服務(wù)能源、汽車、零售、制造等多個(gè)行業(yè)頭部企業(yè)。

　　建設(shè)湖倉一體數(shù)據(jù)底座，統(tǒng)一數(shù)據(jù)存儲(chǔ)和管理，支持對上開放賦能

　　該集團(tuán)在科杰科技的幫助下，梳理現(xiàn)有數(shù)據(jù)能力，規(guī)劃設(shè)計(jì)了滿足未來5-10年的數(shù)據(jù)能力建設(shè)藍(lán)圖，以科杰云原生數(shù)據(jù)底座，統(tǒng)一納管底層數(shù)據(jù)基礎(chǔ)設(shè)施，建立數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范和管理體系統(tǒng)一全域數(shù)據(jù)資產(chǎn)，并最終實(shí)現(xiàn)對組織統(tǒng)一開放賦能。

　　1.搭建湖倉一體數(shù)據(jù)底座，實(shí)現(xiàn)資源統(tǒng)一納管。

　　該集團(tuán)利用云原生湖倉一體數(shù)據(jù)底座良好的兼容適配性，實(shí)現(xiàn)跨云數(shù)據(jù)集成，統(tǒng)一集團(tuán)主數(shù)據(jù)、元數(shù)據(jù)，同時(shí)支持多租戶。云原生架構(gòu)帶來的資源彈性擴(kuò)縮容能力使該集團(tuán)能夠便捷、靈活為二級單位進(jìn)行資源調(diào)配，滿足其個(gè)性化的資源使用需求，同時(shí)其良好的擴(kuò)展性也能夠支持集團(tuán)未來數(shù)年的數(shù)字化發(fā)展。

　　2.統(tǒng)一全域數(shù)據(jù)資產(chǎn)，構(gòu)建數(shù)據(jù)資產(chǎn)管理體系。

　　首先，該集團(tuán)在科杰科技幫助下進(jìn)行了數(shù)據(jù)治理工作，完整重構(gòu)數(shù)據(jù)倉庫體系，設(shè)計(jì)核心數(shù)據(jù)指標(biāo)模型，制定數(shù)據(jù)標(biāo)準(zhǔn)，規(guī)范數(shù)據(jù)質(zhì)量，構(gòu)建起全域統(tǒng)一的數(shù)據(jù)資產(chǎn)。

　　其次，通過一系列工具平臺(tái)落實(shí)數(shù)據(jù)資產(chǎn)管理框架、標(biāo)準(zhǔn)、制度和流程，形成數(shù)據(jù)資產(chǎn)管理體系。建立統(tǒng)一的數(shù)據(jù)開發(fā)管理平臺(tái)，與統(tǒng)一系統(tǒng)認(rèn)證系統(tǒng)集成，集離線、實(shí)時(shí)開發(fā)能力于一體，實(shí)現(xiàn)全域數(shù)據(jù)的接入、加工及任務(wù)維護(hù)和管理；創(chuàng)建數(shù)據(jù)資產(chǎn)目錄，對數(shù)據(jù)指標(biāo)、標(biāo)簽進(jìn)行分類管理，形成數(shù)據(jù)地圖和血緣關(guān)系圖譜，面向業(yè)務(wù)構(gòu)建商品、店鋪、交易、利潤、會(huì)員、營銷等主題，方便數(shù)據(jù)查詢調(diào)用。

　　3.開展數(shù)據(jù)資產(chǎn)服務(wù)化運(yùn)營，實(shí)現(xiàn)統(tǒng)一開放賦能。

　　搭建數(shù)據(jù)服務(wù)平臺(tái)，提供數(shù)據(jù)API、標(biāo)簽服務(wù)、實(shí)時(shí)服務(wù)、報(bào)表服務(wù)和大屏服務(wù)。如對于面向用戶畫像、個(gè)性化推薦等智能應(yīng)用的特征指標(biāo)，能夠通過指標(biāo)平臺(tái)，以及API發(fā)布數(shù)據(jù)服務(wù)方式，直接提供給業(yè)務(wù)人員使用。同時(shí)，平臺(tái)將數(shù)據(jù)管理體系進(jìn)一步貫穿組織架構(gòu)和業(yè)務(wù)主題，面向不同角色和不同業(yè)務(wù)場景，進(jìn)行數(shù)據(jù)能力的整合，支撐團(tuán)隊(duì)協(xié)同開發(fā)，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的共享交換。

　　融入DataOps理念，通過平臺(tái)多個(gè)數(shù)據(jù)開發(fā)管理工具的有機(jī)串聯(lián)，實(shí)現(xiàn)數(shù)據(jù)開發(fā)運(yùn)維一體化。數(shù)據(jù)科學(xué)平臺(tái)支持托拉拽的方式編排算法組件，輔以對數(shù)據(jù)應(yīng)用模型算法構(gòu)建方式和流程的指導(dǎo)，大大縮短數(shù)據(jù)分析模型開發(fā)上線的速度，同時(shí)支持復(fù)用，算法和業(yè)務(wù)過程快速交互形成閉環(huán)，優(yōu)化結(jié)果能快速傳遞到業(yè)務(wù)端，實(shí)現(xiàn)數(shù)據(jù)反哺業(yè)務(wù)。

　　圖5：湖倉一體數(shù)據(jù)智能平臺(tái)

　　打造統(tǒng)一開放的數(shù)據(jù)協(xié)作體系，持續(xù)穩(wěn)定賦能業(yè)務(wù)發(fā)展和創(chuàng)新

　　通過集團(tuán)統(tǒng)一大數(shù)據(jù)底座建設(shè)，該零售集團(tuán)全方位完善了從底層基礎(chǔ)設(shè)施到上層數(shù)據(jù)應(yīng)用能力，具體而言：

　　1.資源統(tǒng)一納管，高效穩(wěn)定支撐上層業(yè)務(wù)開展。通過基礎(chǔ)設(shè)施統(tǒng)一納管和靈活的資源調(diào)度，減少系統(tǒng)風(fēng)險(xiǎn)，提升上層業(yè)務(wù)穩(wěn)定性，同時(shí)降低了總體擁有成本。

　　2.統(tǒng)一數(shù)據(jù)資產(chǎn)體系，為企業(yè)數(shù)據(jù)資產(chǎn)持續(xù)開放共享打好基礎(chǔ)：打通消費(fèi)者在WEB、APP、小程序、門店系統(tǒng)的數(shù)據(jù)，以及各業(yè)務(wù)系統(tǒng)會(huì)員、門店、電商、供應(yīng)鏈、財(cái)務(wù)等全域數(shù)據(jù)，進(jìn)行全鏈路數(shù)據(jù)血緣關(guān)系數(shù)據(jù)資產(chǎn)沉淀，并形成公司內(nèi)統(tǒng)一的數(shù)據(jù)門戶，提升企業(yè)數(shù)據(jù)資產(chǎn)的使用效率。

　　3.數(shù)據(jù)資產(chǎn)服務(wù)化運(yùn)營，實(shí)現(xiàn)組織規(guī)模化數(shù)據(jù)協(xié)作。數(shù)據(jù)研發(fā)人員通過數(shù)據(jù)中臺(tái)實(shí)現(xiàn)大規(guī)模項(xiàng)目跨團(tuán)隊(duì)協(xié)同開發(fā)的能力，極大地提高了研發(fā)人員工作效率；業(yè)務(wù)和運(yùn)營人員在平臺(tái)內(nèi)實(shí)現(xiàn)數(shù)據(jù)需求在線提報(bào)并自動(dòng)流轉(zhuǎn)，并通過高度可視化的功能實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)自助分析和分發(fā)，極大地提升了數(shù)據(jù)在企業(yè)內(nèi)流轉(zhuǎn)和使用的效率，完成由傳統(tǒng)的被動(dòng)數(shù)據(jù)研發(fā)模式到基于統(tǒng)一數(shù)據(jù)資產(chǎn)之上進(jìn)行高度復(fù)用的開發(fā)模式升級轉(zhuǎn)變。

　　3.從管理到運(yùn)營，DataOps釋放數(shù)據(jù)中臺(tái)價(jià)值

　　數(shù)據(jù)中臺(tái)的意義在于連接數(shù)據(jù)底層與數(shù)據(jù)應(yīng)用，提供一個(gè)企業(yè)級的數(shù)據(jù)能力共享和復(fù)用的平臺(tái)。近來大火的DataOps方法論，其目標(biāo)是提高數(shù)據(jù)分析質(zhì)量、實(shí)現(xiàn)數(shù)據(jù)應(yīng)用敏捷開發(fā)，DataOps將成為提升數(shù)據(jù)中臺(tái)能力的重要途徑。

　　3.1數(shù)據(jù)應(yīng)用多元化導(dǎo)致數(shù)據(jù)應(yīng)用開發(fā)效率低

　　隨著企業(yè)風(fēng)險(xiǎn)控制、精準(zhǔn)營銷等數(shù)據(jù)應(yīng)用場景越來越豐富，背后需要關(guān)聯(lián)分析、歸因分析、預(yù)測分析多元化數(shù)據(jù)分析能力支撐。這意味著企業(yè)從依靠BI報(bào)表，被動(dòng)式分析、集中式展現(xiàn)為主的傳統(tǒng)數(shù)據(jù)分析階段，正在進(jìn)入去中心化、主動(dòng)分析、智能分析為特征的數(shù)據(jù)分析新階段。數(shù)據(jù)應(yīng)用的多元化同樣帶來數(shù)據(jù)質(zhì)量、數(shù)據(jù)應(yīng)用交付以及數(shù)據(jù)用戶協(xié)同等方面的挑戰(zhàn)和困難。

　　數(shù)據(jù)質(zhì)量難保證

　　業(yè)務(wù)影響：數(shù)據(jù)來源的業(yè)務(wù)系統(tǒng)不規(guī)范更新表結(jié)構(gòu)；數(shù)據(jù)口徑不一致；數(shù)據(jù)填報(bào)不規(guī)范等

　　技術(shù)影響：ETL過程中字段變更導(dǎo)致數(shù)據(jù)加工出錯(cuò)；系統(tǒng)服務(wù)異常導(dǎo)致調(diào)度任務(wù)執(zhí)行失敗；數(shù)據(jù)存儲(chǔ)架構(gòu)調(diào)整如上云引發(fā)數(shù)據(jù)源的超預(yù)期改變；

　　數(shù)據(jù)用戶類型復(fù)雜，數(shù)據(jù)應(yīng)用交付緩慢

　　企業(yè)中的數(shù)據(jù)用戶類型復(fù)雜，如IT部門的系統(tǒng)工程師和數(shù)據(jù)庫管理員，BI團(tuán)隊(duì)中的數(shù)據(jù)工程師、數(shù)據(jù)管理員和報(bào)表開發(fā)人員，以及數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家以及業(yè)務(wù)部門的數(shù)據(jù)消費(fèi)者等，協(xié)調(diào)所有數(shù)據(jù)用戶及各自的工具耗費(fèi)大量人力物力。這也導(dǎo)致原本從業(yè)務(wù)提出數(shù)據(jù)需求，實(shí)現(xiàn)數(shù)據(jù)建模、數(shù)據(jù)開發(fā)到數(shù)據(jù)應(yīng)用的線性流程協(xié)作變得更加困難，交付周期長，效率低下。

　　數(shù)據(jù)應(yīng)用問題可能出現(xiàn)在數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、融合、建模、開發(fā)、運(yùn)維等多個(gè)環(huán)節(jié)。為滿足多元化的數(shù)據(jù)應(yīng)用需求，企業(yè)需要以數(shù)據(jù)為主角，統(tǒng)籌數(shù)據(jù)全鏈路，協(xié)調(diào)數(shù)據(jù)相關(guān)多角色，以持續(xù)快速交付為目標(biāo)打通數(shù)據(jù)流。

　　3.2DataOps方法論實(shí)現(xiàn)數(shù)據(jù)應(yīng)用高質(zhì)量、持續(xù)交付

　　DataOps是人、流程和技術(shù)的高效組合，用來管理代碼，工具，基礎(chǔ)架構(gòu)和數(shù)據(jù)本身，從而實(shí)現(xiàn)數(shù)據(jù)領(lǐng)域應(yīng)用的敏捷開發(fā)和持續(xù)集成應(yīng)用，優(yōu)化和改進(jìn)數(shù)據(jù)管理者（生產(chǎn)者）和數(shù)據(jù)消費(fèi)者的協(xié)作，持續(xù)交付數(shù)據(jù)流生產(chǎn)線。DataOps能力構(gòu)建包含數(shù)據(jù)工程、數(shù)據(jù)融合、數(shù)據(jù)安全和隱私、數(shù)據(jù)質(zhì)量四個(gè)方面。而一個(gè)成熟的DataOps體系應(yīng)具有持續(xù)性、敏捷性、全面性、可信性、自動(dòng)性等五個(gè)特征。

　　目前，DataOps實(shí)踐尚不成熟，如何將DataOps方法論融入數(shù)據(jù)中臺(tái)、充分發(fā)揮效能，仍待持續(xù)探索。

　　案例2：九州通建設(shè)數(shù)據(jù)中臺(tái)打通數(shù)據(jù)壁壘、挖潛數(shù)據(jù)價(jià)值

　　九州通醫(yī)藥集團(tuán)股份有限公司（以下簡稱“九州通”）為科技驅(qū)動(dòng)型的全鏈醫(yī)藥產(chǎn)業(yè)綜合服務(wù)商，立足于醫(yī)藥流通、物流服務(wù)及醫(yī)療健康等大健康行業(yè)，主營業(yè)務(wù)包括數(shù)字化醫(yī)藥分銷與供應(yīng)鏈服務(wù)、總代品牌推廣服務(wù)、醫(yī)藥工業(yè)及貼牌業(yè)務(wù)、數(shù)字零售、智慧物流與供應(yīng)鏈解決方案、醫(yī)療健康與技術(shù)增值服務(wù)六大方面。九州通連續(xù)多年位列中國醫(yī)藥商業(yè)企業(yè)第四位，領(lǐng)跑中國民營醫(yī)藥商業(yè)企業(yè)。

　　IT架構(gòu)復(fù)雜、數(shù)據(jù)分散阻礙數(shù)據(jù)跨平臺(tái)共享協(xié)作，數(shù)據(jù)價(jià)值難展現(xiàn)

　　早在2015年，九州通集團(tuán)就開啟了數(shù)字化轉(zhuǎn)型之路。隨著集團(tuán)規(guī)模持續(xù)擴(kuò)大，市場競爭愈加激烈，九州通迫切需要發(fā)揮數(shù)據(jù)價(jià)值支持經(jīng)營分析、經(jīng)營決策以及服務(wù)上下游客戶。但在數(shù)據(jù)應(yīng)用過程中，九州面臨IT架構(gòu)和數(shù)據(jù)層面的痛點(diǎn)。

　　數(shù)據(jù)孤島嚴(yán)重。一方面，九州通集團(tuán)業(yè)務(wù)線復(fù)雜，包含中西成藥、中藥、醫(yī)療器械、零售等多業(yè)態(tài)，各業(yè)態(tài)又分為集團(tuán)、地市、區(qū)域三級結(jié)構(gòu)。九州通以業(yè)務(wù)為主導(dǎo)，各業(yè)態(tài)、各層級分別依據(jù)各自需求建設(shè)數(shù)據(jù)平臺(tái)，造成數(shù)據(jù)平臺(tái)架構(gòu)各異，數(shù)據(jù)共享協(xié)作效率慢。另一方面，同一公司內(nèi)不同業(yè)務(wù)單元也會(huì)引入不同業(yè)務(wù)系統(tǒng)，系統(tǒng)之間難打通，造成數(shù)據(jù)分散。因此，九州通雖儲(chǔ)存有海量數(shù)據(jù)，但數(shù)據(jù)難流動(dòng)難使用，數(shù)據(jù)價(jià)值難實(shí)現(xiàn)。

　　數(shù)據(jù)標(biāo)準(zhǔn)體系不完善，數(shù)據(jù)質(zhì)量差。目前九州通未對數(shù)據(jù)進(jìn)行分層管理、未建立完善的指標(biāo)體系且缺乏藥品標(biāo)簽；同時(shí)數(shù)據(jù)存在不及時(shí)、不準(zhǔn)確、不完整、關(guān)聯(lián)性差等質(zhì)量問題，造成數(shù)據(jù)難使用，不能有效支持經(jīng)營分析應(yīng)用。

　　數(shù)據(jù)模型復(fù)用度低，不足以支持業(yè)務(wù)應(yīng)用需求。目前九州通單個(gè)數(shù)據(jù)平臺(tái)內(nèi)的數(shù)據(jù)模型僅支持對應(yīng)系統(tǒng)應(yīng)用，復(fù)用度低，導(dǎo)致應(yīng)用重復(fù)開發(fā)，浪費(fèi)資源。同時(shí)數(shù)據(jù)應(yīng)用在下鉆深度、關(guān)聯(lián)廣度、數(shù)據(jù)呈現(xiàn)豐富度等方面都不足以支持經(jīng)營分析需要，數(shù)據(jù)模型有待完善。

　　建設(shè)數(shù)據(jù)中臺(tái)，盤活數(shù)據(jù)資產(chǎn)，數(shù)字化提質(zhì)增效

　　數(shù)字化轉(zhuǎn)型大背景下，九州通迫切需要盤活數(shù)據(jù)資產(chǎn)、發(fā)掘數(shù)據(jù)價(jià)值，推動(dòng)降本增效、營銷創(chuàng)新。九州通曾先后嘗試自建Oracle數(shù)倉以及Hadoop數(shù)倉來統(tǒng)一儲(chǔ)存集團(tuán)數(shù)據(jù)，雖然投入大量資源，但效果有限。為打通集團(tuán)各業(yè)態(tài)各層級數(shù)據(jù)平臺(tái)，為業(yè)務(wù)賦能，九州通決定通過招標(biāo)建設(shè)集團(tuán)數(shù)據(jù)中臺(tái)。通過綜合考慮技術(shù)集成能力、數(shù)據(jù)開發(fā)工具便捷性以及廠商最佳實(shí)踐經(jīng)驗(yàn)等因素，最終九州通決定與網(wǎng)易數(shù)帆合作。

　　網(wǎng)易數(shù)帆是網(wǎng)易集團(tuán)旗下ToB數(shù)字化轉(zhuǎn)型技術(shù)與服務(wù)提供商，為客戶提供國產(chǎn)軟件基礎(chǔ)平臺(tái)產(chǎn)品及相應(yīng)技術(shù)服務(wù)，業(yè)務(wù)覆蓋云原生基礎(chǔ)軟件、數(shù)據(jù)智能全鏈路產(chǎn)品、人工智能算法應(yīng)用、低代碼應(yīng)用開發(fā)平臺(tái)四大領(lǐng)域，致力于幫助客戶搭建無綁定、高兼容、自主可控的創(chuàng)新基礎(chǔ)平臺(tái)架構(gòu)，快速應(yīng)對新一代信息技術(shù)下實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型的需求。目前已服務(wù)金融、零售、制造、能源、通信等各領(lǐng)域頭部客戶三百余家。

　　在網(wǎng)易數(shù)帆協(xié)助下，九州通歷時(shí)8個(gè)月完成了數(shù)據(jù)中臺(tái)規(guī)劃以及數(shù)據(jù)中臺(tái)初始化部署，包含建設(shè)數(shù)據(jù)倉庫、實(shí)現(xiàn)數(shù)據(jù)開發(fā)及運(yùn)維以及數(shù)據(jù)治理。

　　圖8：九州通數(shù)據(jù)中臺(tái)架構(gòu)示意圖

　　1）建設(shè)統(tǒng)一的數(shù)據(jù)倉庫平臺(tái)，打通集團(tuán)跨平臺(tái)數(shù)據(jù)，提升數(shù)據(jù)利用率

　　建立數(shù)據(jù)倉庫及分層模型：數(shù)據(jù)倉庫分為數(shù)據(jù)運(yùn)營層（ODS）、明細(xì)數(shù)據(jù)層（DWD）、匯總數(shù)據(jù)層（DWS）、應(yīng)用層（ADS）共四層。將不同類型數(shù)據(jù)根據(jù)數(shù)據(jù)模型需要進(jìn)行分層存放，避免不同業(yè)務(wù)部門因?qū)?shù)據(jù)利用方式不同，而需要對模型進(jìn)行重復(fù)開發(fā)，提升數(shù)據(jù)利用率。

　　數(shù)據(jù)匯集：借助網(wǎng)易數(shù)帆豐富的Hadoop大數(shù)據(jù)平臺(tái)組件，九州通將多種架構(gòu)數(shù)據(jù)平臺(tái)的數(shù)據(jù)集成到數(shù)倉平臺(tái)的數(shù)據(jù)運(yùn)營層（ODS），并對數(shù)據(jù)進(jìn)行清洗、匯聚、加工和計(jì)算。

　　數(shù)據(jù)建模：在網(wǎng)易數(shù)帆的咨詢規(guī)劃協(xié)助下，九州通在不同數(shù)倉層建模，其中在明細(xì)數(shù)據(jù)層（DWD）拉通商品、客戶、人員、供應(yīng)商、崗位及組織架構(gòu)維度數(shù)據(jù)，搭建主數(shù)據(jù)公共域模型；在匯總數(shù)據(jù)層（DWS）建立采購、銷售、供應(yīng)鏈、營銷、財(cái)務(wù)等主題模型；在應(yīng)用層（ADS）建立各業(yè)務(wù)報(bào)表需要的業(yè)務(wù)數(shù)據(jù)模型。

　　2）實(shí)現(xiàn)數(shù)據(jù)便捷開發(fā)和運(yùn)維，提升工作效率

　　利用網(wǎng)易數(shù)帆提供的一套便捷可視化數(shù)據(jù)開發(fā)工具，九州通數(shù)據(jù)研發(fā)團(tuán)隊(duì)可快速實(shí)現(xiàn)離線開發(fā)、實(shí)時(shí)開發(fā)、權(quán)限管理、資源管理等功能。通過數(shù)據(jù)運(yùn)維平臺(tái)實(shí)現(xiàn)任務(wù)的監(jiān)控和報(bào)警推送，預(yù)估任務(wù)實(shí)例的產(chǎn)出時(shí)間、展示實(shí)例對下游報(bào)表影響范圍，實(shí)現(xiàn)任務(wù)高效運(yùn)維。

　　3）對多源數(shù)據(jù)進(jìn)行統(tǒng)一治理，降低工作量和資源成本

　　九州通建設(shè)數(shù)倉平臺(tái)匯聚各業(yè)態(tài)各層級的多源數(shù)據(jù)，包括不限于各中西成藥、中藥、醫(yī)療器械、零售等業(yè)態(tài)版塊中，集團(tuán)、區(qū)域以及子公司各級的采購、庫存、人力、營銷等系統(tǒng)數(shù)據(jù)。之后通過數(shù)據(jù)治理平臺(tái)對多源數(shù)據(jù)進(jìn)行統(tǒng)一治理，包括建設(shè)數(shù)據(jù)地圖使業(yè)務(wù)人員能在海量數(shù)據(jù)中快速找到所需數(shù)據(jù)，通過數(shù)據(jù)血緣關(guān)系展示表的上下游表動(dòng)態(tài)追溯、表的下游任務(wù)等；搭建數(shù)據(jù)指標(biāo)體系實(shí)現(xiàn)跨部門指標(biāo)定義統(tǒng)一和指標(biāo)定義管理；建立數(shù)據(jù)質(zhì)量管理體系，業(yè)務(wù)人員可預(yù)設(shè)多場景下的質(zhì)量監(jiān)控規(guī)則，并設(shè)置郵箱、電話等多種告知形式；建立數(shù)據(jù)資產(chǎn)管理體系，評估數(shù)據(jù)資產(chǎn)的成本、價(jià)值、質(zhì)量，優(yōu)化存儲(chǔ)成本，節(jié)約計(jì)算資源，實(shí)現(xiàn)精細(xì)化的數(shù)據(jù)生命周期管理等。

　　數(shù)據(jù)中臺(tái)賦能業(yè)務(wù)應(yīng)用，經(jīng)營效率再提升

　　通過數(shù)據(jù)中臺(tái)，九州通實(shí)現(xiàn)集團(tuán)復(fù)雜組織架構(gòu)下跨業(yè)態(tài)、跨層級、跨系統(tǒng)的數(shù)據(jù)打通，成功消除數(shù)據(jù)孤島；并通過統(tǒng)一的數(shù)據(jù)架構(gòu)、模型開發(fā)、數(shù)據(jù)治理等功能盤活數(shù)據(jù)資產(chǎn)，建立通暢、標(biāo)準(zhǔn)化的數(shù)據(jù)鏈路，持續(xù)為前臺(tái)業(yè)務(wù)應(yīng)用和分析提供數(shù)據(jù)服務(wù)，推動(dòng)營銷創(chuàng)新、提升經(jīng)營效率。

　　消除數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)共享共通。九州通通過數(shù)據(jù)中臺(tái)對旗下各業(yè)態(tài)各層級數(shù)據(jù)進(jìn)行匯聚，由數(shù)據(jù)中臺(tái)提供統(tǒng)一數(shù)據(jù)出口，實(shí)現(xiàn)全集團(tuán)跨平臺(tái)數(shù)據(jù)分享調(diào)用。

　　搭建統(tǒng)一的數(shù)據(jù)指標(biāo)體系，實(shí)現(xiàn)數(shù)據(jù)科學(xué)管理和快速響應(yīng)。本次項(xiàng)目共建設(shè)8個(gè)主題域，落地213個(gè)業(yè)務(wù)指標(biāo)，全部指標(biāo)統(tǒng)一口徑、統(tǒng)一管理，能有效避免因指標(biāo)定義模糊和邏輯混亂而導(dǎo)致的數(shù)據(jù)質(zhì)量問題，大大減少無效、重復(fù)工作，同時(shí)能快速提高數(shù)據(jù)響應(yīng)速度，如采購分析體系中，所有采購分析數(shù)據(jù)需求，均實(shí)現(xiàn)秒級響應(yīng)，平均5秒出結(jié)果。

　　健全客戶標(biāo)簽體系，支撐精準(zhǔn)客戶洞察。本次項(xiàng)目開發(fā)客戶標(biāo)簽共計(jì)6大分類，共100+個(gè)標(biāo)簽，覆蓋基本信息、行為屬性、交易屬性、企業(yè)信用及風(fēng)險(xiǎn)信息等，組成標(biāo)簽工廠，對數(shù)據(jù)進(jìn)行更精細(xì)的分類管理，支撐精準(zhǔn)營銷決策和風(fēng)險(xiǎn)控制。

　　利用數(shù)據(jù)中臺(tái)靈活快速開發(fā)業(yè)務(wù)應(yīng)用，實(shí)現(xiàn)降本增效。如通過數(shù)據(jù)中臺(tái)開發(fā)供應(yīng)商畫像，綜合資金周轉(zhuǎn)、供貨預(yù)期、付款周期、銷售情況等信息，為供應(yīng)商付款審批提供數(shù)據(jù)支撐；針對業(yè)務(wù)員開發(fā)業(yè)務(wù)員畫像，跟進(jìn)業(yè)務(wù)員成單率、拜訪計(jì)劃、拜訪效果等實(shí)現(xiàn)精準(zhǔn)考核等；針對藥店拜訪開發(fā)藥店畫像，提高業(yè)務(wù)員拜訪成功率等。

　　深挖數(shù)據(jù)價(jià)值，從數(shù)據(jù)支撐到數(shù)據(jù)賦能。相較于傳統(tǒng)數(shù)倉，大數(shù)據(jù)平臺(tái)提供了更強(qiáng)的算力支撐，在通過中臺(tái)整合了各系統(tǒng)數(shù)據(jù)資源，利用項(xiàng)目完成數(shù)據(jù)的集中化標(biāo)準(zhǔn)治理的基礎(chǔ)上，九州通深挖數(shù)據(jù)價(jià)值，嘗試通過AI算法模型在業(yè)務(wù)前側(cè)，包括采購體系、銷售體系、獲客體系等方面實(shí)現(xiàn)數(shù)智化。例如：零售門店的銷售預(yù)測、活動(dòng)商品的精準(zhǔn)營銷、采購智能AI補(bǔ)貨、中藥生產(chǎn)供應(yīng)鏈優(yōu)化等。

　　廠商數(shù)據(jù)集成和咨詢能力是傳統(tǒng)企業(yè)搭建數(shù)據(jù)中臺(tái)關(guān)鍵

　　回顧本項(xiàng)目實(shí)施全過程，廠商的選型對九州通數(shù)據(jù)中臺(tái)建設(shè)以及成功應(yīng)用具有關(guān)鍵影響。對于有同類數(shù)據(jù)中臺(tái)建設(shè)的企業(yè)，在選擇數(shù)據(jù)中臺(tái)廠商時(shí)可借鑒以下兩點(diǎn)經(jīng)驗(yàn)。

　　針對具有復(fù)雜組織架構(gòu)的傳統(tǒng)企業(yè)，應(yīng)選擇具有深厚底層數(shù)倉開發(fā)以及數(shù)據(jù)集成能力的廠商。對于復(fù)雜架構(gòu)的集團(tuán)型企業(yè)，在數(shù)字化進(jìn)程中，各子公司及各業(yè)務(wù)常根據(jù)業(yè)務(wù)需要分別建設(shè)數(shù)倉，造成數(shù)倉架構(gòu)不統(tǒng)一。因此廠商需要具備扎實(shí)的組件開發(fā)以及數(shù)據(jù)集成能力，以靈活適配多種數(shù)據(jù)庫環(huán)境，實(shí)現(xiàn)多源數(shù)據(jù)高效、穩(wěn)定集成。

　　針對技術(shù)團(tuán)隊(duì)開發(fā)能力較弱的傳統(tǒng)企業(yè)，應(yīng)選擇具有咨詢能力的廠商。尤其對于雖有技術(shù)團(tuán)隊(duì)，但尚未成功建立數(shù)倉平臺(tái)，且數(shù)據(jù)應(yīng)用意識(shí)較弱的企業(yè)，應(yīng)選擇具有咨詢能力的廠商，在廠商協(xié)助下開展梳理業(yè)務(wù)、制定指標(biāo)體系、搭建數(shù)據(jù)模型、管理數(shù)據(jù)權(quán)限、開發(fā)數(shù)據(jù)應(yīng)用等活動(dòng)，快速建立起數(shù)據(jù)中臺(tái)，并最終通過廠商知識(shí)轉(zhuǎn)移，快速提升企業(yè)數(shù)據(jù)中臺(tái)使用能力和數(shù)據(jù)建模能力，挖潛數(shù)據(jù)價(jià)值。

　　案例3：某高速行業(yè)信息化公司建設(shè)數(shù)據(jù)中臺(tái)，打造高效智慧高速系統(tǒng)

　　十四五以來，隨著我國開啟全面建設(shè)社會(huì)主義現(xiàn)代化新征程、轉(zhuǎn)向高質(zhì)量發(fā)展階段，公路交通也進(jìn)入高質(zhì)量發(fā)展新階段，發(fā)展重心由原來的交通運(yùn)輸網(wǎng)絡(luò)建設(shè)轉(zhuǎn)向交通運(yùn)輸供給有效性和適配性、以及出行服務(wù)品質(zhì)等。發(fā)展數(shù)字交通，尤其以5G、物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能技術(shù)為代表的新基建與交通運(yùn)輸深度融合，成為深化交通供給側(cè)改革、提升運(yùn)輸服務(wù)效能、促進(jìn)綜合交通高質(zhì)量發(fā)展的重要推動(dòng)力。

　　高速行業(yè)數(shù)據(jù)缺乏融通和應(yīng)用，相關(guān)高速單位提升運(yùn)營效率存在困難

　　近年來，隨著信息化的發(fā)展，高速領(lǐng)域的相關(guān)單位已具備多個(gè)信息化系統(tǒng)，如視頻監(jiān)控系統(tǒng)、交通流管控系統(tǒng)、收費(fèi)站管控系統(tǒng)、應(yīng)急指揮系統(tǒng)等，但由于信息系統(tǒng)相互獨(dú)立，在高速運(yùn)營中仍會(huì)面臨以下數(shù)據(jù)問題：

　　數(shù)據(jù)孤島：高速數(shù)據(jù)來源于導(dǎo)航系統(tǒng)、ETC、龍門架、路網(wǎng)卡口、攝像頭、毫米波雷達(dá)、車載終端等形色各樣的系統(tǒng)和終端設(shè)備，數(shù)據(jù)類型復(fù)雜，且分屬于高速公路建設(shè)、管理、養(yǎng)護(hù)以及運(yùn)營等四個(gè)階段，導(dǎo)致不同系統(tǒng)的數(shù)據(jù)無法互通互聯(lián)形成數(shù)據(jù)孤島。

　　數(shù)據(jù)質(zhì)量不穩(wěn)定：由于高速數(shù)據(jù)的采集來源于不同的感知設(shè)備，存在數(shù)據(jù)不穩(wěn)定、數(shù)據(jù)空包、丟漏數(shù)據(jù)的現(xiàn)狀。原有系統(tǒng)缺乏數(shù)據(jù)質(zhì)量管理體系，導(dǎo)致采集的數(shù)據(jù)中存在大量缺失信息或無效數(shù)據(jù)。

　　缺乏數(shù)據(jù)標(biāo)準(zhǔn)：當(dāng)前高速公路業(yè)務(wù)數(shù)據(jù)尚未形成國家或是行業(yè)標(biāo)準(zhǔn)規(guī)范，尤其不同地域、不同供應(yīng)商產(chǎn)品的數(shù)據(jù)格式、模型、表結(jié)構(gòu)千差萬別，導(dǎo)致上級單位在進(jìn)行數(shù)據(jù)收集匯總時(shí)需花費(fèi)大量人力物力。

　　難以有效支持多元應(yīng)用：高速領(lǐng)域包含多元的服務(wù)應(yīng)用及對象，諸如視頻監(jiān)控、交通流管控、收費(fèi)站管控、應(yīng)急指揮、綠通查驗(yàn)等服務(wù)，現(xiàn)有數(shù)據(jù)系統(tǒng)存在數(shù)據(jù)難調(diào)用、難使用的問題，不能支持業(yè)務(wù)應(yīng)用體驗(yàn)升級需求。

　　為了更好地賦能各地域的高速公司，提升各地高速交通的運(yùn)營效率，某高速行業(yè)信息化公司基于高速行業(yè)的發(fā)展現(xiàn)狀和系統(tǒng)基礎(chǔ)，提出建設(shè)數(shù)據(jù)中臺(tái)解決上述問題。通過多方考察，該公司綜合考慮行業(yè)經(jīng)驗(yàn)、產(chǎn)品功能、產(chǎn)品體驗(yàn)以及公司規(guī)模等因素，最終決定與國內(nèi)專業(yè)的數(shù)據(jù)智能服務(wù)商每日互動(dòng)股份有限公司（以下簡稱“每日互動(dòng)”）合作建設(shè)數(shù)據(jù)中臺(tái)。

　　每日互動(dòng)成立于2010年，是專業(yè)的數(shù)據(jù)智能服務(wù)商，為企業(yè)客戶及政府單位提供豐富的數(shù)據(jù)智能產(chǎn)品，便捷、穩(wěn)定的技術(shù)服務(wù)與智能運(yùn)營解決方案，服務(wù)行業(yè)涉及互聯(lián)網(wǎng)運(yùn)營、用戶增長、品牌營銷、金融風(fēng)控等領(lǐng)域客戶以及政府部門。同時(shí)，基于強(qiáng)大的數(shù)據(jù)積累能力和豐富的數(shù)據(jù)治理經(jīng)驗(yàn)，每日互動(dòng)構(gòu)建了數(shù)據(jù)中臺(tái)——“每日治數(shù)平臺(tái)”，將數(shù)據(jù)挖掘、萃取和治理能力向各行各業(yè)輸出，用數(shù)據(jù)智能幫助客戶解決其實(shí)際業(yè)務(wù)中所遇到的痛點(diǎn)難題。

　　建設(shè)數(shù)據(jù)中臺(tái)，實(shí)現(xiàn)智慧高速

　　每日互動(dòng)在城市大腦、智慧交通、應(yīng)急管理等公共服務(wù)領(lǐng)域具有豐富實(shí)踐，積累了對人、車、道路、時(shí)間、空間等多要素?cái)?shù)據(jù)進(jìn)行關(guān)聯(lián)計(jì)算和分析洞察的能力。依托于“每日治數(shù)平臺(tái)”一站式數(shù)倉搭建、可視化數(shù)據(jù)資產(chǎn)管理、零代碼模型構(gòu)建、低代碼機(jī)器學(xué)習(xí)等特色功能，每日互動(dòng)和該高速行業(yè)信息化公司共同建設(shè)數(shù)據(jù)中臺(tái)，包括構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)、管理數(shù)據(jù)資產(chǎn)以及制定數(shù)據(jù)質(zhì)量管理體系等，實(shí)現(xiàn)了數(shù)據(jù)資源的統(tǒng)一整合和數(shù)據(jù)治理，主要運(yùn)用于支持高速公路的高效運(yùn)營和高質(zhì)服務(wù)。

　　圖9：相關(guān)高速單位數(shù)據(jù)中臺(tái)架構(gòu)圖

　　數(shù)據(jù)接入和集成：依托于每日互動(dòng)的技術(shù)支持，某高速行業(yè)信息化公司可將相關(guān)高速單位的多個(gè)自有信息平臺(tái)如高速管控平臺(tái)、設(shè)備維修管理平臺(tái)、隧道管控平臺(tái)的異構(gòu)數(shù)據(jù)，以及可靠第三方數(shù)據(jù)統(tǒng)一接入數(shù)據(jù)中臺(tái)。

　　構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)，建立統(tǒng)一的數(shù)據(jù)倉庫模型：每日互動(dòng)與該公司組織的多個(gè)業(yè)務(wù)專家一起深入高速業(yè)務(wù)一線，理清當(dāng)前數(shù)據(jù)現(xiàn)狀以及數(shù)據(jù)使用過程中的痛點(diǎn)，根據(jù)數(shù)據(jù)源不同，建立相應(yīng)的業(yè)務(wù)主題庫，構(gòu)建起一套完整的數(shù)據(jù)標(biāo)準(zhǔn)體系，形成統(tǒng)一、整合的數(shù)據(jù)倉庫模型。

　　數(shù)據(jù)資產(chǎn)管理和可視化：基于每日互動(dòng)提供的數(shù)據(jù)勘探、數(shù)據(jù)血緣、元數(shù)據(jù)采集、建表/分區(qū)管理等工具，該公司可進(jìn)一步幫助相關(guān)高速單位完善數(shù)據(jù)資產(chǎn)；并且對數(shù)據(jù)資產(chǎn)進(jìn)行可視化呈現(xiàn)，如數(shù)據(jù)資產(chǎn)目錄層級結(jié)構(gòu)展示，相關(guān)單位可便捷地從不同視角檢索和管理數(shù)據(jù)資產(chǎn)。

　　制定數(shù)據(jù)質(zhì)量管理體系：基于數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則，實(shí)時(shí)對數(shù)據(jù)質(zhì)量進(jìn)行智能監(jiān)測和預(yù)警；結(jié)合AI算法，定期對數(shù)據(jù)質(zhì)量進(jìn)行稽核，如系統(tǒng)根據(jù)數(shù)據(jù)缺失情形，參考?xì)v史數(shù)據(jù)進(jìn)行補(bǔ)充或是對嚴(yán)重缺損數(shù)據(jù)進(jìn)行剔除，保證高速數(shù)據(jù)可用、可信。此外，通過數(shù)據(jù)血緣功能可定期對數(shù)據(jù)流轉(zhuǎn)過程進(jìn)行追溯和梳理，實(shí)現(xiàn)數(shù)據(jù)全生命周期的智能管理。

　　數(shù)據(jù)應(yīng)用：多源異構(gòu)數(shù)據(jù)經(jīng)數(shù)據(jù)中臺(tái)清洗、融合治理后形成共享數(shù)據(jù)，通過API以服務(wù)目錄的形式供各部門調(diào)用，消除應(yīng)用部門對數(shù)據(jù)質(zhì)量、數(shù)據(jù)來源的擔(dān)憂，專注提升應(yīng)用體驗(yàn)。

　　數(shù)據(jù)中臺(tái)有效提升高速運(yùn)行效率和服務(wù)品質(zhì)

　　在本項(xiàng)目數(shù)據(jù)中臺(tái)建設(shè)過程中，每日互動(dòng)梳理建立起一套完善的高速數(shù)據(jù)標(biāo)準(zhǔn)體系，運(yùn)用于高速行業(yè)多個(gè)場景的效率提升，相關(guān)單位的高速交通應(yīng)急處置效率、運(yùn)行效率和服務(wù)品質(zhì)等多個(gè)方面均有顯著提升，具體表現(xiàn)如下。

　　打通數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)高效高質(zhì)共享：通過數(shù)據(jù)中臺(tái)，某高速行業(yè)信息化公司將相關(guān)高速單位系統(tǒng)內(nèi)多個(gè)渠道數(shù)據(jù)進(jìn)行集成、清洗、融合治理，形成高質(zhì)量數(shù)據(jù)，賦能各業(yè)務(wù)部門。

　　實(shí)時(shí)可視化，提升應(yīng)急處置效率：依據(jù)每日互動(dòng)數(shù)據(jù)中臺(tái)的圖像智能和可視化等功能，該公司實(shí)現(xiàn)了對高速交通全局態(tài)勢的實(shí)時(shí)感知以及對局部路段路況的實(shí)時(shí)查詢、分析，并通過大屏監(jiān)控車禍、擁堵、拋錨等突發(fā)狀況，能對突發(fā)狀況實(shí)現(xiàn)快速定位和救援。該公司將此可視化功能應(yīng)用到道路救援時(shí)，救援時(shí)間縮短了60%至80%，救援效率得到大幅提升。

　　數(shù)據(jù)融合，促進(jìn)路網(wǎng)通暢：通過對ETC、服務(wù)區(qū)卡口、高速路網(wǎng)等數(shù)據(jù)融合，業(yè)務(wù)人員對?？砍瑫r(shí)的車輛進(jìn)行精準(zhǔn)引導(dǎo)，緩解夜間服務(wù)區(qū)的大流量痛點(diǎn)，提高服務(wù)區(qū)的服務(wù)質(zhì)量。

　　AI算法預(yù)判，提升通行效率：針對高速匝道等事故多發(fā)以及易擁堵路段，業(yè)務(wù)人員可基于每日互動(dòng)數(shù)據(jù)中臺(tái)AI算法進(jìn)行提前預(yù)判和事前預(yù)警，為相關(guān)高速單位進(jìn)行道路擁堵疏導(dǎo)提供科學(xué)依據(jù)和有效支撐，也為民眾合理規(guī)劃錯(cuò)峰出行路徑提供引導(dǎo)，促進(jìn)路網(wǎng)流量合理分布，提升高速通行效率。

　　數(shù)據(jù)中臺(tái)廠商綜合數(shù)據(jù)能力為數(shù)據(jù)中臺(tái)建設(shè)、數(shù)據(jù)中臺(tái)應(yīng)用良好體驗(yàn)提供堅(jiān)實(shí)保障

　　回顧數(shù)據(jù)中臺(tái)建設(shè)前期、建設(shè)中期以及建設(shè)后期應(yīng)用的全過程，數(shù)據(jù)中臺(tái)能成功發(fā)揮效用、提升高速交通運(yùn)營能力有兩點(diǎn)關(guān)鍵因素。

　　1）選擇優(yōu)質(zhì)廠商事半功倍：某高速行業(yè)信息化公司在進(jìn)行數(shù)據(jù)中臺(tái)廠商選型時(shí)，應(yīng)考慮廠商在特定行業(yè)已積累豐富案例，形成完善數(shù)據(jù)治理方法論，其中行業(yè)不限于高速行業(yè)。該廠商應(yīng)具備數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)分析、數(shù)據(jù)可視化、數(shù)據(jù)標(biāo)簽等數(shù)據(jù)治理專業(yè)能力以及豐富的數(shù)據(jù)治理輸出經(jīng)驗(yàn)，具備成熟的久經(jīng)市場驗(yàn)證的數(shù)據(jù)產(chǎn)品引擎與提效工具，能將以往行業(yè)經(jīng)驗(yàn)遷移到高速行業(yè)中，服務(wù)高速行業(yè)。在本項(xiàng)目中基于“每日治數(shù)平臺(tái)”豐富的行業(yè)客戶和相關(guān)政府單位解決數(shù)字化轉(zhuǎn)型難題經(jīng)驗(yàn)，每日互動(dòng)已經(jīng)沉淀出可復(fù)用的數(shù)據(jù)能力、業(yè)務(wù)能力、效率工具等，因此能快速為該公司建設(shè)數(shù)據(jù)中臺(tái)，服務(wù)于高速公路建設(shè)、管理、養(yǎng)護(hù)、運(yùn)營四個(gè)階段。此外，廠商還應(yīng)具有算法建模、機(jī)器學(xué)習(xí)、圖像智能等綜合數(shù)據(jù)能力，在實(shí)現(xiàn)數(shù)據(jù)整合、數(shù)據(jù)治理等基本功能基礎(chǔ)上，能為數(shù)據(jù)在多元場景應(yīng)用提供支持。在本項(xiàng)目中，每日互動(dòng)的數(shù)據(jù)中臺(tái)產(chǎn)品“每日治數(shù)平臺(tái)”具備多元完善的AI算法、圖像智能等技術(shù)，操作便捷、輕量、易上手，可實(shí)現(xiàn)路況實(shí)時(shí)查詢分析并可視化呈現(xiàn)、對路況預(yù)判提升通行效率等功能，為客戶的數(shù)智化創(chuàng)新賦能提效。

　　2）建設(shè)執(zhí)行團(tuán)隊(duì)落地生花：除廠商選型外，為使數(shù)據(jù)中臺(tái)真正落地、發(fā)揮最大效用，某高速行業(yè)信息化公司在明確數(shù)據(jù)中臺(tái)規(guī)劃、踐行數(shù)據(jù)中臺(tái)建設(shè)的過程中，還需搭建崗位配置齊全的團(tuán)隊(duì)，包括但不限于中臺(tái)建設(shè)、中臺(tái)運(yùn)維、數(shù)據(jù)產(chǎn)品經(jīng)理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)運(yùn)營等崗位來支持中臺(tái)建設(shè)及運(yùn)維，實(shí)現(xiàn)跨組織協(xié)同，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)。

　　4.實(shí)時(shí)數(shù)據(jù)平臺(tái)支撐爆發(fā)中的高時(shí)效場景

　　4.1實(shí)時(shí)數(shù)據(jù)應(yīng)用場景爆發(fā)

　　隨著物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的深入發(fā)展，企業(yè)通過物聯(lián)網(wǎng)設(shè)備或線上系統(tǒng)可以收集到大量的實(shí)時(shí)數(shù)據(jù)。與此同時(shí)，實(shí)時(shí)數(shù)據(jù)的應(yīng)用場景也被迅速挖掘，如精準(zhǔn)營銷、風(fēng)控管理、工業(yè)制造等場景中，對實(shí)時(shí)數(shù)據(jù)的分析處理、應(yīng)用將有效為企業(yè)避免損失、提升效益，企業(yè)對于實(shí)時(shí)數(shù)據(jù)從產(chǎn)生、收集、處理、存儲(chǔ)到產(chǎn)出分析結(jié)果的全鏈路時(shí)延需求已經(jīng)從過去的T+1天發(fā)展到到小時(shí)級、分鐘級甚至秒級，實(shí)時(shí)數(shù)據(jù)平臺(tái)也因此獲得極大關(guān)注。

　　但是傳統(tǒng)的數(shù)倉或數(shù)據(jù)平臺(tái)難以支持海量實(shí)時(shí)數(shù)據(jù)處理和分析的需求，企業(yè)急需針對實(shí)時(shí)數(shù)據(jù)的收集、管理和分析技術(shù)以及基礎(chǔ)設(shè)施進(jìn)行優(yōu)化升級，可以將實(shí)時(shí)數(shù)據(jù)端到端地管理起來，并將實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)化為能夠幫助業(yè)務(wù)提升的工具，利用實(shí)時(shí)數(shù)據(jù)提升業(yè)務(wù)價(jià)值。

　　4.2構(gòu)建端到端的實(shí)時(shí)數(shù)據(jù)解決方案

　　要支撐實(shí)時(shí)數(shù)據(jù)應(yīng)用的需求，需要一套從導(dǎo)入（采集和同步）、存儲(chǔ)、處理到查詢實(shí)時(shí)數(shù)據(jù)的端到端解決方案。

　　圖10：端到端的實(shí)時(shí)數(shù)據(jù)解決方案

　　可以采集多種類型數(shù)據(jù)：實(shí)時(shí)數(shù)據(jù)來源眾多，包括線上數(shù)據(jù)（訂單、交易等）、IoT設(shè)備數(shù)據(jù)和日志數(shù)據(jù)等，實(shí)際業(yè)務(wù)場景中的實(shí)時(shí)數(shù)據(jù)類型也包括結(jié)構(gòu)化數(shù)據(jù)、視頻、音頻、文本等，因此實(shí)時(shí)數(shù)據(jù)采集需要支持多源異構(gòu)數(shù)據(jù)的處理需求，同時(shí)由于不同的業(yè)務(wù)場景中的數(shù)據(jù)協(xié)議不一致，實(shí)時(shí)數(shù)據(jù)平臺(tái)還需要包含豐富的通信協(xié)議接口。

　　高可用、低成本的數(shù)據(jù)同步方案：實(shí)時(shí)數(shù)據(jù)同步過程主要是針對流式數(shù)據(jù)的處理，在可用性方面，數(shù)據(jù)同步解決方案需要保證企業(yè)級應(yīng)用的場景下海量實(shí)時(shí)數(shù)據(jù)同步的完整性和高可用；在運(yùn)維方面，數(shù)據(jù)同步解決方案要具備監(jiān)控預(yù)警和自動(dòng)運(yùn)維等配置化的運(yùn)維方案，降低開發(fā)和管理成本。

　　統(tǒng)一的數(shù)據(jù)存儲(chǔ)和查詢：由于一般實(shí)時(shí)數(shù)據(jù)平臺(tái)多采用離線數(shù)倉和實(shí)時(shí)數(shù)倉同步運(yùn)行的方式會(huì)導(dǎo)致開發(fā)成本翻倍、數(shù)據(jù)管理體系復(fù)雜等問題，使用以數(shù)據(jù)湖為基礎(chǔ)的流批一體的方式來替代原有的離線數(shù)倉和實(shí)時(shí)數(shù)倉，可以解決傳統(tǒng)架構(gòu)中的存在的問題。通過流批一體的方式可以將流計(jì)算和批計(jì)算的存儲(chǔ)都統(tǒng)一到數(shù)據(jù)湖中，使得數(shù)據(jù)血緣關(guān)系、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)都可以統(tǒng)一在相同的數(shù)據(jù)管理體系下，系統(tǒng)代碼也可以統(tǒng)一進(jìn)行開發(fā)和維護(hù)。在數(shù)據(jù)查詢方面，因?yàn)橥瑯硬扇》謱蛹軜?gòu)和數(shù)據(jù)湖可以支持OLAP查詢引擎，依然可以在不同的中間層支持OLAP的實(shí)時(shí)查詢。

　　金融作為數(shù)字化程度最高的行業(yè)之一，其在實(shí)時(shí)數(shù)據(jù)平臺(tái)方面的探索和需求相較于其他行業(yè)更為領(lǐng)先，金融機(jī)構(gòu)由于傳統(tǒng)的批處理數(shù)據(jù)量大，基礎(chǔ)實(shí)施架構(gòu)復(fù)雜且業(yè)務(wù)場景眾多，在實(shí)時(shí)數(shù)據(jù)平臺(tái)的建設(shè)方面最好基于原有的批處理基礎(chǔ)上進(jìn)行批處理的升級和流處理的新建，優(yōu)先選取重點(diǎn)業(yè)務(wù)場景進(jìn)行實(shí)時(shí)數(shù)據(jù)處理和分析的試點(diǎn)，獲得成功經(jīng)驗(yàn)再逐步推廣到全機(jī)構(gòu)中運(yùn)行。

　　案例4：某股份制銀行搭建實(shí)時(shí)應(yīng)用支撐平臺(tái)，通過實(shí)時(shí)數(shù)據(jù)賦能業(yè)務(wù)價(jià)值提升

　　隨著金融數(shù)字化時(shí)代的來臨，金融業(yè)務(wù)正在發(fā)生深刻的變化。國內(nèi)某股份制銀行結(jié)合市場趨勢變化和自身情況，將大數(shù)據(jù)技術(shù)作為企業(yè)數(shù)字化戰(zhàn)略目標(biāo)的基礎(chǔ)。該銀行目前處于業(yè)務(wù)發(fā)展的新階段，資產(chǎn)規(guī)模持續(xù)擴(kuò)大，經(jīng)營實(shí)力不斷增強(qiáng)，同時(shí)積極推進(jìn)金融創(chuàng)新，而新業(yè)務(wù)模式的創(chuàng)新離不開數(shù)據(jù)的支持，也對核心數(shù)據(jù)能力提出了新要求。

　　傳統(tǒng)的數(shù)據(jù)處理時(shí)效性和靈活性無法滿足業(yè)務(wù)發(fā)展需求

　　在傳統(tǒng)的批處理方式下，通過T+1的全量或增量數(shù)據(jù)更新和處理可以滿足銀行內(nèi)各部門對于經(jīng)營情況和內(nèi)部管理等數(shù)據(jù)分析的需求，但是隨著精準(zhǔn)營銷、風(fēng)險(xiǎn)監(jiān)控和內(nèi)控管理等場景對于數(shù)據(jù)時(shí)效性的要求越來越高，銀行內(nèi)現(xiàn)有的批量式、準(zhǔn)實(shí)時(shí)式數(shù)據(jù)處理效率無法滿足所有的業(yè)務(wù)場景，未來需要實(shí)現(xiàn)對交易、日志等流式數(shù)據(jù)的毫秒級實(shí)時(shí)采集、處理和計(jì)算能力。

　　數(shù)字經(jīng)濟(jì)時(shí)代下，銀行需要收集和管理的數(shù)據(jù)量也將持續(xù)高速增長，現(xiàn)有的數(shù)據(jù)基礎(chǔ)設(shè)施從性能和處理方式層面都難以滿足PB級海量、混合數(shù)據(jù)的存儲(chǔ)、整合、加工以及完成實(shí)時(shí)流式新增場景接入的要求，需針對現(xiàn)有的數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行維護(hù)和升級。

　　在業(yè)務(wù)支撐方面，當(dāng)前的數(shù)據(jù)交付方式復(fù)雜且低效，無法滿足快速變化的業(yè)務(wù)需求，需要提升快速、自主、迭代式平臺(tái)的交付能力。

　　該股份制銀行綜合考慮自身業(yè)務(wù)情況和當(dāng)前技術(shù)能力，提出了搭建實(shí)時(shí)應(yīng)用支撐平臺(tái)來滿足海量數(shù)據(jù)的實(shí)時(shí)處理和分析，對于實(shí)時(shí)應(yīng)用支撐平臺(tái)具體的需求如下：

　　1.流處理接入和批處理升級

　　實(shí)時(shí)應(yīng)用支撐平臺(tái)需完成實(shí)時(shí)流式新增場景接入，需要以現(xiàn)有的flink方式，進(jìn)行實(shí)時(shí)數(shù)據(jù)感知和獲取以及相關(guān)任務(wù)的下發(fā)；針對批處理任務(wù)場景，為配合完成實(shí)時(shí)需求，需針對配套的批量任務(wù)完成開發(fā)和改造，對于現(xiàn)有的批量任務(wù)要進(jìn)行維護(hù)和升級。

　　2.系統(tǒng)組件優(yōu)化升級

　　完成傳統(tǒng)大數(shù)據(jù)服務(wù)平臺(tái)應(yīng)用支撐集群流式平臺(tái)的系統(tǒng)升級和版本升級。應(yīng)用支撐集群很多是自研和開源組件，新的實(shí)時(shí)應(yīng)用支撐平臺(tái)需要在現(xiàn)有基礎(chǔ)上進(jìn)行資源整合和優(yōu)化升級，包括集成自動(dòng)化測試功能、集成門戶查詢功能、優(yōu)化ES存儲(chǔ)索引等。

　　監(jiān)控方案制定和實(shí)施。統(tǒng)籌建立實(shí)時(shí)應(yīng)用支撐平臺(tái)整體監(jiān)控方案，并完成相關(guān)指標(biāo)的制定以及開發(fā)優(yōu)化，在現(xiàn)有的監(jiān)控指標(biāo)基礎(chǔ)上完成系統(tǒng)、組件、應(yīng)用、批、流全方位的監(jiān)控系統(tǒng)升級，保障系統(tǒng)穩(wěn)定運(yùn)行和對外提供服務(wù)。

　　3.集群擴(kuò)容升級

　　數(shù)據(jù)完整性保證。為保障數(shù)據(jù)完整性，配合實(shí)時(shí)應(yīng)用支撐平臺(tái)擴(kuò)容計(jì)劃，在承接更多實(shí)時(shí)場景的情況下，繼續(xù)保障集群可以在實(shí)時(shí)數(shù)據(jù)消費(fèi)的同時(shí)進(jìn)行數(shù)據(jù)備份，并且在集群出現(xiàn)重大問題或流消費(fèi)有問題時(shí)，可以保障數(shù)據(jù)不丟失。

　　數(shù)據(jù)安全保證。為配合平臺(tái)中實(shí)時(shí)數(shù)倉的建立，豐富目前的實(shí)時(shí)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)接出模式，需要建立配套的安全權(quán)限管理模式，進(jìn)行數(shù)據(jù)安全管控。

　　為滿足上述需求，該股份制銀行在實(shí)時(shí)應(yīng)用支撐平臺(tái)搭建中，綜合技術(shù)能力、產(chǎn)品成熟度和過往經(jīng)驗(yàn)等多種考慮因素，最終選擇與九章云極DataCanvas展開合作。

　　九章云極DataCanvas成立于2013年，是一家數(shù)據(jù)智能基礎(chǔ)軟件供應(yīng)商，專注于自動(dòng)化數(shù)據(jù)科學(xué)平臺(tái)的持續(xù)開發(fā)與建設(shè)，提供自動(dòng)化機(jī)器學(xué)習(xí)分析和實(shí)時(shí)計(jì)算能力，為政府及企業(yè)智能化升級和轉(zhuǎn)型提供全面配套服務(wù)。

　　通過開源產(chǎn)品搭建實(shí)時(shí)應(yīng)用支撐平臺(tái)，利用低代碼環(huán)境提升數(shù)據(jù)開發(fā)效率

　　在項(xiàng)目中，該銀行的IT團(tuán)隊(duì)與九章云極DataCanvas共同合作，對全行的實(shí)時(shí)業(yè)務(wù)場景做了全面梳理，作為構(gòu)建實(shí)時(shí)應(yīng)用支撐平臺(tái)的基礎(chǔ)。在落地層面，借助九章云極DataCanvas成熟的企業(yè)分布式流數(shù)據(jù)實(shí)時(shí)處理，分析和決策產(chǎn)品（以下簡稱“DataCanvasRT實(shí)時(shí)決策中心“），依托主流互聯(lián)網(wǎng)大數(shù)據(jù)生態(tài)圈，引入開源社區(qū)軟件框架，采取自主和合作研發(fā)相結(jié)合，完成某銀行實(shí)時(shí)應(yīng)用支撐平臺(tái)的搭建和基礎(chǔ)數(shù)據(jù)的準(zhǔn)備，以此開展各業(yè)務(wù)應(yīng)用工作。

　　圖11：某股份制銀行全行級實(shí)時(shí)應(yīng)用支撐平臺(tái)架構(gòu)圖

　　實(shí)時(shí)應(yīng)用支撐平臺(tái)通過對批量數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的處理、計(jì)算、分析，尤其是通過機(jī)器學(xué)習(xí)模型對實(shí)時(shí)數(shù)據(jù)進(jìn)行分析獲取業(yè)務(wù)洞察，進(jìn)而為下游的業(yè)務(wù)系統(tǒng)提供多樣化的數(shù)據(jù)服務(wù)。在實(shí)時(shí)數(shù)據(jù)應(yīng)用支撐集群中，九章云極運(yùn)用DataCanvasRT實(shí)時(shí)決策中心為該銀行提供實(shí)時(shí)指標(biāo)引擎、模型引擎、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)作業(yè)管理（算子作業(yè)、SQL作業(yè)、JAR作業(yè)）、數(shù)據(jù)服務(wù)、日志管理、多租戶及租戶資源、UDF管理功能等眾多模塊和功能。

　　圖12：算子作業(yè)開發(fā)示意圖

　　其中UDF的全稱為User Definition Function，是DataCanvas RT實(shí)時(shí)決策中心作為一個(gè)平臺(tái)級的產(chǎn)品基于Flink的框架下開發(fā)的低代碼數(shù)據(jù)開發(fā)功能，結(jié)合預(yù)置的算子，讓用戶可以用可視化拖拽的方式把算子在畫布中連接，組成數(shù)據(jù)開發(fā)任務(wù)。在實(shí)時(shí)應(yīng)用支撐平臺(tái)項(xiàng)目中，該銀行IT人員利用UDF可以極大減少流式數(shù)據(jù)開發(fā)任務(wù)的難度，提升開發(fā)任務(wù)效率，使得實(shí)時(shí)場景的數(shù)據(jù)開發(fā)上線周期大大縮短。

　　本次實(shí)時(shí)應(yīng)用支撐平臺(tái)項(xiàng)目歷經(jīng)初建、擴(kuò)容和推廣三個(gè)階段：

　　初建階段：初建階段主要是在該銀行原有的批處理架構(gòu)基礎(chǔ)上，搭建以Hadoop為基礎(chǔ)的系統(tǒng)架構(gòu)，結(jié)合多種開源大數(shù)據(jù)組件搭建具備實(shí)時(shí)數(shù)據(jù)處理和實(shí)時(shí)交易感知的系統(tǒng)，并在部分試點(diǎn)場景中上線運(yùn)行。

　　擴(kuò)容階段：擴(kuò)容階段在初建階段的系統(tǒng)基礎(chǔ)上融入DataCanvasRT實(shí)時(shí)決策中心，并擴(kuò)容集群規(guī)模，在上線時(shí)即形成50臺(tái)節(jié)點(diǎn)的系統(tǒng)集群，線上運(yùn)行20多類業(yè)務(wù)場景，并在后續(xù)逐步擴(kuò)容至100臺(tái)節(jié)點(diǎn)的系統(tǒng)集群和80多個(gè)實(shí)時(shí)業(yè)務(wù)場景。

　　推廣階段：推廣階段基于前期的系統(tǒng)建設(shè)基礎(chǔ)，遵照規(guī)范管理流程，接入更多業(yè)務(wù)場景，提供及時(shí)的數(shù)據(jù)服務(wù)，提升業(yè)務(wù)洞察能力。

　　實(shí)時(shí)應(yīng)用支撐平臺(tái)除了一般的技術(shù)和功能需求外，九章云極DataCanvas還針對該銀行的特殊需求對于DataCanvasRT實(shí)時(shí)決策中心進(jìn)行定制化開發(fā)，包括：

　　高可用流作業(yè)：在DataCanvasRT實(shí)時(shí)決策中心中添加高可用流作業(yè)功能，有效解決流作業(yè)重啟情況下導(dǎo)致的數(shù)據(jù)延遲問題，以及雙作業(yè)流場景中的基于第三方緩存Redis做的狀態(tài)一致性保障UDF，本次項(xiàng)目中研發(fā)的高可用流作業(yè)功能也已經(jīng)和九章云極一起申請專利。

　　多租戶需求：通過邏輯隔離和在預(yù)置算子外開發(fā)UDF算子如Redis狀態(tài)計(jì)算、去重算子、Hbase維表關(guān)聯(lián)等算子的方式滿足該銀行實(shí)時(shí)風(fēng)險(xiǎn)管理系統(tǒng)租戶、報(bào)表與信息服務(wù)平臺(tái)系統(tǒng)租戶、營銷管理系統(tǒng)租戶和標(biāo)簽管理系統(tǒng)租戶的多租戶需求。

　　實(shí)時(shí)應(yīng)用支撐平臺(tái)優(yōu)化數(shù)據(jù)服務(wù)，提升業(yè)務(wù)洞察

　　該股份制銀行通過九章云極DataCanvasRT實(shí)時(shí)決策中心搭建的實(shí)時(shí)應(yīng)用支撐平臺(tái)，在投產(chǎn)后已實(shí)現(xiàn)無間斷運(yùn)行近四年，并且可以有效應(yīng)對海量數(shù)據(jù)處理和實(shí)時(shí)業(yè)務(wù)場景應(yīng)用需求：

　　1.實(shí)現(xiàn)了海量實(shí)時(shí)數(shù)據(jù)的處理和分發(fā)。該銀行在上線實(shí)時(shí)應(yīng)用支撐平臺(tái)后，每日實(shí)時(shí)報(bào)文采集量和準(zhǔn)實(shí)時(shí)數(shù)據(jù)日采集量有了顯著提升。類似于大額資金變動(dòng)預(yù)警的實(shí)時(shí)場景中，實(shí)時(shí)數(shù)據(jù)經(jīng)平臺(tái)規(guī)則處理后可以在0.2秒內(nèi)輸出預(yù)警，目前日預(yù)警量達(dá)到千萬條，實(shí)時(shí)動(dòng)帳交易日預(yù)警量約百萬條。

　　2.極大提高了實(shí)時(shí)場景開發(fā)和上線的效率。隨著實(shí)時(shí)應(yīng)用支撐平臺(tái)項(xiàng)目的實(shí)施，平臺(tái)上支撐的總體業(yè)務(wù)場景不斷增加，平均每2周就能上線一個(gè)實(shí)時(shí)業(yè)務(wù)場景，截止2022年3月已經(jīng)上線了80多個(gè)實(shí)時(shí)業(yè)務(wù)場景，總體的需求提出部門達(dá)到了15個(gè)，包括運(yùn)營管理部、信用卡中心、信息科技部、網(wǎng)絡(luò)金融部等，共涉及3種業(yè)務(wù)類型，包括營銷類、監(jiān)控類、監(jiān)管類，平臺(tái)在對用戶需求的支持上得到了顯著提升。

　　3.適用業(yè)務(wù)發(fā)展需要的流數(shù)據(jù)計(jì)算架構(gòu)。實(shí)時(shí)應(yīng)用支撐平臺(tái)上線后，實(shí)現(xiàn)了十萬級以上的TPS峰值報(bào)文配對處理量，每日全行總線報(bào)文采集量加足跡數(shù)據(jù)采集量達(dá)到20億以上。并且隨著業(yè)務(wù)不斷發(fā)展，九章云極DataCanvasRT實(shí)時(shí)決策中心也對平臺(tái)架構(gòu)進(jìn)行持續(xù)優(yōu)化，例如最新版本的RT產(chǎn)品支持FlinkSQL，可以有效提升實(shí)時(shí)數(shù)據(jù)的開發(fā)效率。

　　流批一體的數(shù)據(jù)處理能力和低代碼環(huán)境可顯著提升實(shí)時(shí)數(shù)據(jù)處理平臺(tái)的落地效果

　　實(shí)時(shí)數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理能力和開發(fā)效率是決定其是否能夠滿足企業(yè)需求的核心要素，總結(jié)該股份制銀行的實(shí)時(shí)應(yīng)用支撐平臺(tái)建設(shè)經(jīng)驗(yàn)，其他銀行在選擇實(shí)時(shí)數(shù)據(jù)平臺(tái)產(chǎn)品時(shí)應(yīng)注意關(guān)注以下兩點(diǎn)：

　　流批一體的數(shù)據(jù)處理能力。在選擇實(shí)時(shí)數(shù)據(jù)平臺(tái)產(chǎn)品時(shí)，能夠承載企業(yè)的流批一體數(shù)據(jù)處理工作，具備方便的橫向擴(kuò)展能力，并且可以對產(chǎn)品架構(gòu)持續(xù)優(yōu)化改進(jìn)，不斷引入新的技術(shù)和功能，才可以保證該產(chǎn)品可以長期穩(wěn)定的滿足業(yè)務(wù)發(fā)展需求。

　　低代碼開發(fā)環(huán)境提升開發(fā)效率。基于DataCanvasRT實(shí)時(shí)決策中心的低代碼開發(fā)環(huán)境，由成熟的測試團(tuán)隊(duì)完成工作流的配置和測試。對于復(fù)雜業(yè)務(wù)場景則通過大數(shù)據(jù)開發(fā)工程師通過UDF算子開發(fā)的形式，完成部分?jǐn)?shù)據(jù)處理難點(diǎn)的實(shí)現(xiàn)，后續(xù)將UDF算子交由測試團(tuán)隊(duì)，通過可拖拽的方式構(gòu)建數(shù)據(jù)開發(fā)工作流。

　　5.政策合規(guī)要求推動(dòng)隱私計(jì)算平臺(tái)快速滲透

　　5.1政策合規(guī)驅(qū)動(dòng)隱私計(jì)算長足發(fā)展

　　隨著數(shù)字化進(jìn)程的深化、數(shù)據(jù)應(yīng)用場景的拓展，越來越多的企業(yè)及機(jī)構(gòu)發(fā)現(xiàn)僅挖掘內(nèi)部數(shù)據(jù)價(jià)值不足以應(yīng)對快速變化的市場環(huán)境及用戶需求，如金融機(jī)構(gòu)需要借助其他機(jī)構(gòu)數(shù)據(jù)完善風(fēng)控模型、實(shí)現(xiàn)精準(zhǔn)營銷；政府單位需要打通多部門數(shù)據(jù)提高政府治理水平、提升公共服務(wù)效能；醫(yī)院需聯(lián)合多家醫(yī)療機(jī)構(gòu)共同完成罕見病全基因組關(guān)聯(lián)分析等。企業(yè)或機(jī)構(gòu)需要通過數(shù)據(jù)共享協(xié)作提升運(yùn)營效率、提升服務(wù)價(jià)值。

　　與此同時(shí)，對數(shù)據(jù)流通安全的擔(dān)憂成為數(shù)據(jù)共享協(xié)作的阻礙。一方面，國家加強(qiáng)對數(shù)據(jù)分享及利用的監(jiān)管，相繼頒布《數(shù)據(jù)安全法》及《個(gè)人信息保護(hù)法》，嚴(yán)格限制數(shù)據(jù)的不安全流通；另一方面，數(shù)據(jù)已經(jīng)成為企業(yè)立身之本，企業(yè)需要保護(hù)自身數(shù)據(jù)資產(chǎn)，保護(hù)數(shù)據(jù)隱私。

　　隱私計(jì)算能實(shí)現(xiàn)數(shù)據(jù)共享協(xié)作過程中的“可用不可見”，保護(hù)數(shù)據(jù)隱私安全、滿足合規(guī)要求，被企業(yè)廣泛采用。企業(yè)對隱私計(jì)算技術(shù)的需求主要體現(xiàn)在以下幾方面。

　　功能完善，提供全面數(shù)據(jù)安全解決方案。不同業(yè)務(wù)場景下企業(yè)能接受的安全假設(shè)前提不同，如風(fēng)控、營銷場景下，企業(yè)能接受可信第三方，采用聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)隱私計(jì)算；而在醫(yī)療多中心合作模式下，醫(yī)院會(huì)面臨串謀攻擊、環(huán)境攻擊、模型攻擊等內(nèi)部攻擊，需要融合多方安全計(jì)算、同態(tài)加密以及可信執(zhí)行環(huán)境共同滿足數(shù)據(jù)安全要求。廠商應(yīng)具備完善的隱私計(jì)算保護(hù)功能，不限于聯(lián)邦學(xué)習(xí)、多方安全計(jì)算、可信執(zhí)行環(huán)境以及同態(tài)加密，滿足不同場景下的安全要求。

　　滿足業(yè)務(wù)高精度、高性能的計(jì)算需求。特殊場景如工業(yè)決策、人臉識(shí)別以及多中心全基因組分析等，對精度、性能的要求極高。企業(yè)應(yīng)具有底層隱私計(jì)算底座開發(fā)優(yōu)化能力，通過提高模型計(jì)算效率優(yōu)化、通信效率優(yōu)化、網(wǎng)絡(luò)帶寬優(yōu)化等多種方式滿足業(yè)務(wù)場景高精度、高性能要求。

　　提供豐富數(shù)據(jù)源。數(shù)據(jù)源也是企業(yè)實(shí)現(xiàn)數(shù)據(jù)協(xié)作過程中的一個(gè)主要痛點(diǎn)。數(shù)據(jù)質(zhì)量將影響數(shù)據(jù)協(xié)作共享的價(jià)值產(chǎn)出，因此企業(yè)需要篩選、鏈接合適的數(shù)據(jù)源。企業(yè)希望廠商具有豐富的數(shù)據(jù)源網(wǎng)絡(luò)，了解各行業(yè)數(shù)據(jù)特點(diǎn)，能為企業(yè)提供數(shù)據(jù)鏈接建議并推動(dòng)實(shí)現(xiàn)合作。

　　具備場景專業(yè)知識(shí)，提供建模及算法支持。金融、醫(yī)療等理論門檻較高，企業(yè)需要隱私計(jì)算廠商具備專業(yè)業(yè)務(wù)知識(shí)，能提供恰當(dāng)?shù)臄?shù)據(jù)分析算法和模型，幫助企業(yè)實(shí)現(xiàn)產(chǎn)出。

　　5.2隱私計(jì)算保護(hù)數(shù)據(jù)隱私，實(shí)現(xiàn)數(shù)據(jù)可用不可見

　　不同場景對隱私計(jì)算技術(shù)能力要求不同。如政務(wù)聯(lián)合計(jì)算場景下，同態(tài)加密即可滿足需求；金融風(fēng)控場景下，需要具備聯(lián)邦學(xué)習(xí)、同態(tài)加密以及多方安全計(jì)算；而特殊醫(yī)療場景如全基因組分析場景下，要求更嚴(yán)格，解決方案需同時(shí)具備聯(lián)邦學(xué)習(xí)、多方安全計(jì)算、同態(tài)加密甚至可信執(zhí)行環(huán)境等多種隱私計(jì)算技術(shù)。一個(gè)普適的隱私計(jì)算平臺(tái)解決方案如下圖所示。

　　案例5：某三甲醫(yī)院借力隱私計(jì)算開展多中心基因組學(xué)分析，取得突破研究成果

　　某三甲醫(yī)院是一所集醫(yī)療、教學(xué)、科研為一體的綜合性三級甲等醫(yī)院，脊柱脊髓傷病診治、關(guān)節(jié)外傷修復(fù)重建、顱腦創(chuàng)傷救治、顱內(nèi)腫瘤診療、器官移植、多發(fā)傷、多臟器功能衰竭救治等處于國內(nèi)領(lǐng)先水平。其中脊柱外科是上海市醫(yī)學(xué)領(lǐng)先專業(yè)重點(diǎn)學(xué)科，該三甲醫(yī)院持續(xù)推進(jìn)并引領(lǐng)脊髓型頸椎病研究。

　　多中心醫(yī)療合作面臨數(shù)據(jù)安全、合規(guī)風(fēng)險(xiǎn)

　　全基因組關(guān)聯(lián)分析（Genome-WideAssociationStudy，GWAS）指在全基因組水平上，以單核甘酸多態(tài)性（SingleNucleotidePolytide，SNP）作為分子遺傳標(biāo)記，進(jìn)行對照或關(guān)聯(lián)性分析，可篩選出與復(fù)雜性狀相關(guān)的突變基因位點(diǎn)，對于疾病預(yù)防、診療和新藥研發(fā)意義重大。該三甲醫(yī)院持續(xù)關(guān)注強(qiáng)直性脊柱炎（簡稱“AS”）疾病的預(yù)防及治療研究。由于該三甲醫(yī)院的樣本量不足以支撐一項(xiàng)全基因組關(guān)聯(lián)分析研究，因此需要聯(lián)合多家醫(yī)院及院校共享AS患者基因信息進(jìn)行研究，以開展更好的疾病防治工作。但在跨機(jī)構(gòu)AS基因數(shù)據(jù)協(xié)作和共享過程中存在數(shù)據(jù)隱私安全隱患、數(shù)據(jù)合規(guī)以及計(jì)算難度大等問題：

　　數(shù)據(jù)合規(guī)趨嚴(yán)，醫(yī)療數(shù)據(jù)難流通

　　隨著我國《數(shù)據(jù)安全法》及《個(gè)人信息保護(hù)法》的頒布，對數(shù)據(jù)安全監(jiān)管進(jìn)一步加強(qiáng)，醫(yī)療健康信息被列為敏感個(gè)人信息，醫(yī)療數(shù)據(jù)的不安全流動(dòng)被嚴(yán)格限制，只有在采取嚴(yán)格保護(hù)措施下方可處理敏感個(gè)人信息。目前醫(yī)院普遍通過數(shù)據(jù)脫敏隱去患者隱私，但在實(shí)際應(yīng)用中，數(shù)據(jù)脫敏無明確規(guī)定，主觀性高，且已被證明存在保護(hù)漏洞，被隱去的信息可能被重新推斷出來導(dǎo)致患者身份或隱私泄露，無法達(dá)成現(xiàn)行法律所要求的“數(shù)據(jù)匿名化”。對醫(yī)療數(shù)據(jù)隱私泄露的擔(dān)憂及數(shù)據(jù)共享合規(guī)性上的不足成為生物醫(yī)療數(shù)據(jù)跨機(jī)構(gòu)分享的阻礙。

　　傳統(tǒng)多中心合作仍存在患者隱私泄露或數(shù)據(jù)篡改風(fēng)險(xiǎn)

　　傳統(tǒng)的多中心合作通常將多家機(jī)構(gòu)數(shù)據(jù)匯集到第三方平臺(tái)，由第三方平臺(tái)集中進(jìn)行數(shù)據(jù)處理或計(jì)算以實(shí)現(xiàn)跨中心協(xié)作。但隨著參與方增多，數(shù)據(jù)泄露和被篡改的風(fēng)險(xiǎn)也隨之升高，如醫(yī)療數(shù)據(jù)安全保護(hù)的責(zé)任歸屬難界定、各個(gè)參與方的醫(yī)療權(quán)限劃分不明確，都有可能造成醫(yī)療數(shù)據(jù)共享過程中的泄露、侵犯患者個(gè)人隱私或是導(dǎo)致重大醫(yī)療事故。

　　數(shù)據(jù)體量龐大，數(shù)據(jù)傳輸、計(jì)算及分析難度大

　　基因數(shù)據(jù)具有高通量、高敏感度的特點(diǎn)，例如本案例中，單個(gè)個(gè)體的全基因組測序數(shù)據(jù)量接近300G，而全基因組分析需要幾百甚至幾千個(gè)樣本量，龐大的數(shù)據(jù)體量為數(shù)據(jù)存儲(chǔ)、傳輸、計(jì)算及分析帶來挑戰(zhàn)。

　　隱私計(jì)算方案推動(dòng)多中心AS全基因組研究順利開展

　　為規(guī)避隱私泄露風(fēng)險(xiǎn)，實(shí)現(xiàn)基因數(shù)據(jù)分享和聯(lián)合分析，推動(dòng)本次AS全基因組關(guān)聯(lián)分析項(xiàng)目順利開展，該三甲醫(yī)院決定采購隱私計(jì)算解決方案。經(jīng)過綜合考慮產(chǎn)品功能、性能、安全以及團(tuán)隊(duì)醫(yī)療專業(yè)素質(zhì)等因素，最終選擇與锘崴科技進(jìn)行合作。

　　锘崴科技成立于2019年，是一家專業(yè)的隱私保護(hù)計(jì)算技術(shù)服務(wù)提供商，由“海外高層次青年人才”、隱私計(jì)算專家王爽教授，前硅谷知名科學(xué)家鄭灝博士共同創(chuàng)立，具備深厚的隱私計(jì)算、生物醫(yī)療信息等領(lǐng)域的學(xué)術(shù)和實(shí)踐經(jīng)驗(yàn)，團(tuán)隊(duì)成員多來自IBM、Google、ThermoFisher等世界五百強(qiáng)企業(yè)，業(yè)務(wù)場景覆蓋醫(yī)療、金融、保險(xiǎn)、政務(wù)、安防等。

　　該三甲醫(yī)院隱私計(jì)算方案從確定需求、實(shí)現(xiàn)跨醫(yī)院平臺(tái)部署到完成全基因組關(guān)聯(lián)分析獲取研究成果，歷時(shí)近3個(gè)月。

　　明確AS全基因組關(guān)聯(lián)分析多中心合作需求

　　為實(shí)現(xiàn)AS全基因組關(guān)聯(lián)分析，該三甲醫(yī)院及合作機(jī)構(gòu)對锘崴科技主要提出三點(diǎn)需求：1）隱私計(jì)算解決方案能提供AS疾病全基因組關(guān)聯(lián)分析管道所需的模型和工具，并支持靈活組合；2）針對跨機(jī)構(gòu)提供的3000個(gè)樣本、單個(gè)樣本300G的數(shù)據(jù)體量，解決方案應(yīng)實(shí)現(xiàn)計(jì)算性能等價(jià)于明文計(jì)算性能；3）該方案保證數(shù)據(jù)安全合規(guī)。

　　部署隱私計(jì)算一體機(jī)平臺(tái)

　　锘崴科技的锘崴信？隱私保護(hù)計(jì)算一體機(jī)（以下簡稱：锘崴信？一體機(jī)）包含接口層、計(jì)算節(jié)點(diǎn)、加密層、協(xié)同層等，可實(shí)現(xiàn)接入醫(yī)院數(shù)據(jù)、完成本地計(jì)算、對計(jì)算結(jié)果加密、將加密后的信息通信至全局模型進(jìn)行迭代，重復(fù)計(jì)算流程使模型反復(fù)迭代至收斂?；陲会诵?#xff1f;一體機(jī)，該三甲醫(yī)院及合作機(jī)構(gòu)只需完成安裝、接通網(wǎng)絡(luò)、接通數(shù)據(jù)、配置規(guī)則等步驟即可“開箱即用”，簡化搭建應(yīng)用隱私計(jì)算平臺(tái)的難度。

　　其中針對數(shù)據(jù)接通環(huán)境，锘崴科技锘崴信？一體機(jī)提供豐富的數(shù)據(jù)接口，該三甲醫(yī)院及合作機(jī)構(gòu)可以以文件、數(shù)據(jù)庫或者數(shù)據(jù)接口等形式將數(shù)據(jù)接入一體機(jī)，即可實(shí)現(xiàn)在安全可控的前提下與外部合作方進(jìn)行數(shù)據(jù)價(jià)值交互。

　　各數(shù)據(jù)使用方設(shè)計(jì)并構(gòu)建全基因組分析管道

　　為滿足AS全基因組關(guān)聯(lián)分析研究需求，锘崴科技開發(fā)出GWAS分布式計(jì)算技術(shù)框架iPRIVATES。該框架融合多種算法，包含可定制的基因組數(shù)據(jù)預(yù)處理模塊，基于主成分分析的聯(lián)邦人口分層模型、基于邏輯回歸和對數(shù)似然比檢驗(yàn)的關(guān)聯(lián)分析模型等。該三甲醫(yī)院及合作方可靈活地集成和配置不同的全基因組關(guān)聯(lián)分析管道，方便識(shí)別SNPs與AS疾病特征之間的關(guān)聯(lián)，獲得統(tǒng)計(jì)學(xué)意義上顯著相關(guān)的基因位點(diǎn)信息，為后期的實(shí)驗(yàn)室驗(yàn)證、確定AS早篩生物標(biāo)志物提供支持。

　　實(shí)現(xiàn)隱私計(jì)算安全

　　依托iPRIVATES框架，該三甲醫(yī)院實(shí)現(xiàn)與多個(gè)跨省合作機(jī)構(gòu)的AS基因組數(shù)據(jù)鏈接和共享協(xié)作，并在多中心協(xié)作過程中，保障基因數(shù)據(jù)共享全鏈路隱私安全。一方面基于iPRIVATES框架中的安全聯(lián)邦學(xué)習(xí)技術(shù)，該三甲醫(yī)院和合作機(jī)構(gòu)在本地終端節(jié)點(diǎn)對基因數(shù)據(jù)進(jìn)行計(jì)算，僅共享交換經(jīng)過加密后的中間統(tǒng)計(jì)值，不分享明文個(gè)體數(shù)據(jù)，保護(hù)數(shù)據(jù)隱私；另一方面，依托于iPRIVATES框架中可信執(zhí)行環(huán)境技術(shù)，該三甲醫(yī)院和合作機(jī)構(gòu)能防御內(nèi)部攻擊、避免因計(jì)算過程被篡改，實(shí)現(xiàn)對模型本身的保護(hù)。

　　隱私計(jì)算推動(dòng)多中心合作高效開展，并取得卓越研究成果

　　依托锘崴科技隱私保護(hù)計(jì)算技術(shù)，該三甲醫(yī)院及合作機(jī)構(gòu)在滿足數(shù)據(jù)安全合規(guī)要求的前提下完成多中心AS疾病全基因組關(guān)聯(lián)分析，取得重大研究成果，獲得業(yè)內(nèi)高度認(rèn)可；并在縮短評審周期、提高統(tǒng)計(jì)意義、降低資源消耗等方面有良好表現(xiàn)。

　　研究成果獲廣泛認(rèn)可：基于锘崴科技提供的iPRIVATES隱私計(jì)算框架，該三甲醫(yī)院關(guān)于強(qiáng)直性脊柱炎的研究成果發(fā)表在生物信息學(xué)頂級期刊BriefinginBioinformatics上，同時(shí)獲得2019年度上海市科技進(jìn)步獎(jiǎng)一等獎(jiǎng)，收到廣泛贊譽(yù)。

　　計(jì)算結(jié)果的可靠性、準(zhǔn)確度大幅提升：基于隱私計(jì)算解決方案，該三甲醫(yī)院最終與多家機(jī)構(gòu)達(dá)成多中心合作，樣本量相較單中心模式提高3-5倍，統(tǒng)計(jì)意義也提高1個(gè)數(shù)量級，研究結(jié)果的準(zhǔn)確性、普適性大幅提升，有利于AS疾病的預(yù)防和診治工作。

　　計(jì)算效率顯著提升，計(jì)算結(jié)果等價(jià)：iPRIVATES框架在算法時(shí)間上等價(jià)于數(shù)據(jù)物理集中的方式，且研究成果的特征靶點(diǎn)也與集中式計(jì)算結(jié)果一致，驗(yàn)證了隱私計(jì)算方法在解決生物醫(yī)療多中心數(shù)據(jù)協(xié)作方面的可行性和巨大潛力。

　　大幅縮短數(shù)據(jù)風(fēng)險(xiǎn)評審周期，降低多中心合作時(shí)間成本：傳統(tǒng)模式下開展多中心研究前，需要各醫(yī)院機(jī)構(gòu)評審數(shù)據(jù)共享風(fēng)險(xiǎn)，評審周期可能長達(dá)一至兩個(gè)季度。而隱私計(jì)算方案能實(shí)現(xiàn)在數(shù)據(jù)不出域的情況下完成多中心的合作，規(guī)避數(shù)據(jù)泄露風(fēng)險(xiǎn)，因此能大幅縮短醫(yī)院多中心合作的評審周期，減少管理流程成本，加速聯(lián)合研究。

　　降低資源消耗：傳統(tǒng)多中心模式下，所有樣本數(shù)據(jù)需匯總到該三甲醫(yī)院再進(jìn)行計(jì)算，對存儲(chǔ)、算力條件要求極高，而基于聯(lián)邦學(xué)習(xí)的多中心模式應(yīng)用分布式計(jì)算框架，物理分散，邏輯集中，對參與方的計(jì)算資源損耗和計(jì)算條件要求下降。

　　隱私計(jì)算廠商選型決定多中心醫(yī)療合作成敗

　　隱私計(jì)算方案在該三甲醫(yī)院AS疾病研究中起到重要作用。回顧該三甲醫(yī)院實(shí)施隱私計(jì)算解決方案全流程，隱私計(jì)算廠商選型對隱私計(jì)算解決方案的成功具有決定性作用，因此對于同樣有多中心醫(yī)療研究需求的醫(yī)院，在選擇隱私計(jì)算廠商時(shí)，應(yīng)注意以下三點(diǎn)廠商能力。

　　選擇有完全自主知識(shí)產(chǎn)權(quán)，能兼顧性能、精度、安全等多方面實(shí)力的隱私計(jì)算廠商。由于醫(yī)療行業(yè)數(shù)據(jù)體量龐大、精度要求苛刻、數(shù)據(jù)安全風(fēng)險(xiǎn)高，要求隱私計(jì)算廠商除建模能力外，更要具備優(yōu)化調(diào)整隱私計(jì)算底座并發(fā)性、準(zhǔn)確性、算法復(fù)雜性等方面的自主開發(fā)能力。

　　選擇有豐富醫(yī)療經(jīng)驗(yàn)、具備專業(yè)醫(yī)療知識(shí)的廠商。醫(yī)療研究理論門檻高，因此要求隱私計(jì)算廠商具有醫(yī)療從業(yè)經(jīng)驗(yàn)或是具備專業(yè)醫(yī)療知識(shí)，準(zhǔn)確理解不同醫(yī)療業(yè)務(wù)中的數(shù)據(jù)分析理論，進(jìn)而提供對應(yīng)的醫(yī)療算法和模型，如在全基因組關(guān)聯(lián)分析中能提供人口分層模型、關(guān)聯(lián)分析模型。甚至更進(jìn)一步，允許不同醫(yī)療機(jī)構(gòu)根據(jù)業(yè)務(wù)能、精度和安全等多方面平衡的解決方案。

　　選擇具有豐富醫(yī)療數(shù)據(jù)源的廠商。生物醫(yī)療數(shù)據(jù)的各項(xiàng)科學(xué)研究通常都需要大量樣本，單一數(shù)據(jù)源的數(shù)據(jù)量很難滿足一項(xiàng)研究所需的樣本量，因此，能鏈接多方數(shù)據(jù)源，諸如醫(yī)院、第三方檢測公司、影像中心等，打通各醫(yī)院、藥企上下游數(shù)據(jù)網(wǎng)絡(luò)，為醫(yī)院聚合大量樣本，將能為醫(yī)院節(jié)省大量的資源和時(shí)間。

　　6.屬于業(yè)務(wù)端的數(shù)據(jù)分析時(shí)代來臨

　　6.1數(shù)據(jù)分析需求向業(yè)務(wù)端演進(jìn)

　　數(shù)據(jù)分析平臺(tái)作為企業(yè)數(shù)據(jù)價(jià)值提煉和挖掘的最后一站，長期以來都是企業(yè)數(shù)字化建設(shè)的重中之重。然而，由于數(shù)據(jù)分析工作的專業(yè)性和復(fù)雜性，以及數(shù)據(jù)邏輯與業(yè)務(wù)邏輯之間的高度差異性，導(dǎo)致數(shù)據(jù)分析和業(yè)務(wù)之間存在較高的壁壘，這對企業(yè)的數(shù)據(jù)運(yùn)營體系和數(shù)據(jù)文化提出了很高的要求。近年來，隨著外部市場環(huán)境不確定性的增強(qiáng)，以及企業(yè)數(shù)據(jù)應(yīng)用的不斷深化，數(shù)據(jù)和業(yè)務(wù)之間的壁壘在很大程度上影響了企業(yè)數(shù)據(jù)價(jià)值的傳遞，具體而言：

　　業(yè)務(wù)人員漸成數(shù)據(jù)分析工具終端用戶。外部環(huán)境不確定性增加，市場需求瞬息萬變，業(yè)務(wù)側(cè)對數(shù)據(jù)分析的需求也隨之調(diào)整，逐漸脫離固定的分析邏輯和報(bào)表，向個(gè)性化、多樣化轉(zhuǎn)變，而傳統(tǒng)數(shù)據(jù)分析產(chǎn)品在搭建之初就已形成固定的數(shù)據(jù)分析模型，數(shù)據(jù)人員需要通過復(fù)雜的定制化工作才能解決這些個(gè)性化分析需求，導(dǎo)致溝通成本高，等待周期長，數(shù)據(jù)分析結(jié)果滯后于業(yè)務(wù)動(dòng)向，業(yè)務(wù)人員直接參與數(shù)據(jù)分析的需求不能及時(shí)滿足。

　　從集團(tuán)統(tǒng)一賦能走向場景化建設(shè)。數(shù)據(jù)分析平臺(tái)往往是企業(yè)從全局出發(fā)進(jìn)行建設(shè)，由企業(yè)數(shù)據(jù)中心滿足所有部門的數(shù)據(jù)分析需要。隨著企業(yè)數(shù)字化水平提高，各部門逐漸無法滿足于來自集團(tuán)數(shù)據(jù)中心的固定報(bào)表式數(shù)據(jù)應(yīng)用，而是希望能夠?qū)⑵涮赜械臉I(yè)務(wù)邏輯與數(shù)據(jù)分析能力深度結(jié)合，形成豐富細(xì)致的數(shù)據(jù)分析場景，滿足業(yè)務(wù)精細(xì)化運(yùn)營的需要。

　　6.2低門檻、場景化解決方案推動(dòng)數(shù)據(jù)與業(yè)務(wù)深度融合

　　面對個(gè)性化、場景化的分析需求，企業(yè)需要通過更加智能化、敏捷化的數(shù)據(jù)分析解決方案，提升分析的靈活性，填補(bǔ)業(yè)務(wù)和數(shù)據(jù)間的壁壘，真正讓數(shù)據(jù)分析能力下沉到一線業(yè)務(wù)人員和具體業(yè)務(wù)場景。

　　1）為業(yè)務(wù)人員和管理人員搭建新型智能化、自助化分析平臺(tái)。以智能化、自助化為特點(diǎn)，面向業(yè)務(wù)人員的新型分析引擎搭載NLPtoSQL、機(jī)器學(xué)習(xí)、低代碼等技術(shù)，提供自然語言等新型交互方式，便捷地低代碼、零代碼數(shù)據(jù)分析模板搭建方式，從而簡化數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘和建模以及數(shù)據(jù)結(jié)果分發(fā)全流程操作，為業(yè)務(wù)人員提供強(qiáng)大的數(shù)據(jù)分析能力。具體而言，系統(tǒng)能幫助用戶輕松訪問數(shù)據(jù)，并實(shí)現(xiàn)實(shí)時(shí)分析，滿足業(yè)務(wù)實(shí)時(shí)分析需求；系統(tǒng)能幫助用戶通過托拉拽操作，生成豐富的可視化圖形，并支持指標(biāo)和維度的切換，以及指標(biāo)和數(shù)據(jù)的關(guān)聯(lián)分析，讓業(yè)務(wù)人員通過極為簡單的操作實(shí)現(xiàn)靈活的數(shù)據(jù)分析，大大降低數(shù)據(jù)使用門檻。

　　案例6：精準(zhǔn)高效數(shù)據(jù)分析實(shí)現(xiàn)業(yè)務(wù)與數(shù)據(jù)深度融合

　　某知名互聯(lián)網(wǎng)教育公司是我國最具影響力的綜合性教育集團(tuán)，擁有素質(zhì)教育、國際教育、成人及職業(yè)教育、教育服務(wù)與支持、在線電商等多個(gè)業(yè)務(wù)板塊。

　　多重挑戰(zhàn)，數(shù)據(jù)分析體系面臨瓶頸

　　作為行業(yè)領(lǐng)先的教育集團(tuán)，該公司較早開啟了數(shù)字化探索，但由于缺少專門的數(shù)據(jù)管理及分析工具與科學(xué)的數(shù)據(jù)管理體系，在實(shí)際運(yùn)行過程中存在諸多問題：

　　1.取數(shù)繁瑣，數(shù)據(jù)管理難統(tǒng)一。由于企業(yè)內(nèi)部多系統(tǒng)間未在數(shù)據(jù)層面打通，數(shù)據(jù)權(quán)限管理不清晰，各分公司頻繁需要總部協(xié)助從多個(gè)系統(tǒng)導(dǎo)出數(shù)據(jù)并進(jìn)行初步加工，集團(tuán)側(cè)數(shù)據(jù)響應(yīng)工作量大，反饋慢，效率低。

　　2.分析效率受限，個(gè)性需求難滿足。數(shù)據(jù)展示工具局限于Excel數(shù)據(jù)透視表，呈現(xiàn)形式單一，缺乏靈活性。因此，各地分公司在數(shù)據(jù)標(biāo)準(zhǔn)存在較大差異的情況下，很難滿足各分公司對數(shù)據(jù)分析的個(gè)性化需求。

　　3.分發(fā)不及時(shí)，推送慢成本高。在分析結(jié)果推送方面，原先數(shù)據(jù)人員需將分析結(jié)果手動(dòng)發(fā)送至指定的群聊或郵箱，耗費(fèi)大量人工成本，無法在數(shù)據(jù)分析結(jié)果產(chǎn)出第一時(shí)間推送到相關(guān)負(fù)責(zé)人。

　　三措并舉，建設(shè)高效、精準(zhǔn)的數(shù)據(jù)分析體系

　　為解決上述問題，該公司決定面向整個(gè)集團(tuán)搭建大數(shù)據(jù)分析與可視化平臺(tái)，以實(shí)現(xiàn)精準(zhǔn)、高效的數(shù)據(jù)分析。在充分考慮自身管理模式與產(chǎn)品適配性、產(chǎn)品易用性等維度后，最終選擇觀遠(yuǎn)數(shù)據(jù)作為合作伙伴，共建大數(shù)據(jù)分析與可視化平臺(tái)。

　　觀遠(yuǎn)數(shù)據(jù)作為一站式智能分析與服務(wù)提供商，依托在數(shù)據(jù)分析和商業(yè)智能領(lǐng)域多年實(shí)戰(zhàn)經(jīng)驗(yàn)，致力于為互聯(lián)網(wǎng)、金融、零售、消費(fèi)、高科技、制造等行業(yè)的領(lǐng)先企業(yè)提供一站式數(shù)據(jù)分析與智能決策產(chǎn)品及解決方案。截至目前，觀遠(yuǎn)數(shù)據(jù)已深入服務(wù)聯(lián)合利華、3M中國、招商銀行、安踏、華潤集團(tuán)、揚(yáng)子江藥業(yè)、元?dú)馍帧⑿〖t書、蜜雪冰城等400+行業(yè)領(lǐng)先客戶。

　　基于BI平臺(tái)，雙方攜手搭建了集團(tuán)——分公司數(shù)據(jù)分級管控體系，搭起數(shù)據(jù)分析管理和協(xié)作的完整“骨架”，并通過平臺(tái)強(qiáng)大功能，實(shí)現(xiàn)全面自助式分析、自動(dòng)化推送預(yù)警，充盈了數(shù)據(jù)分析的內(nèi)容。

　　圖17：觀遠(yuǎn)數(shù)據(jù)分析應(yīng)用界面

　　1.數(shù)據(jù)管理模式改革——中央廚房集中供給，分公司按需取用。首先將多系統(tǒng)數(shù)據(jù)統(tǒng)一錄入集團(tuán)數(shù)據(jù)倉庫，再推送到觀遠(yuǎn)BI平臺(tái)數(shù)據(jù)中心，形成集團(tuán)統(tǒng)一的基礎(chǔ)數(shù)據(jù)層。隨后，集團(tuán)作為“中央廚房”，統(tǒng)一管理各學(xué)校數(shù)據(jù)訪問權(quán)限，并依據(jù)權(quán)限管控機(jī)制將數(shù)據(jù)開放給各學(xué)校，無需人工干預(yù)；最后，集團(tuán)將權(quán)限下放，由各個(gè)學(xué)校自主管理內(nèi)部用戶，學(xué)校通過觀遠(yuǎn)ETL將數(shù)據(jù)進(jìn)行規(guī)則梳理和加工后形成各自獨(dú)有數(shù)據(jù)集，并基于自身數(shù)據(jù)集自助生成個(gè)性化看板。這種方式不僅保障了數(shù)據(jù)安全，提升取數(shù)效率，更提升了分公司和學(xué)校數(shù)據(jù)管理分析的靈活性。

　　2.數(shù)據(jù)分析能力提升——靈活開放的自助式分析。雙方以業(yè)務(wù)價(jià)值鏈和場景為基礎(chǔ)細(xì)化數(shù)據(jù)指標(biāo)，搭建數(shù)據(jù)分析模型，并提供豐富的報(bào)表類型。

　　首先將客戶全生命周期數(shù)據(jù)上線觀遠(yuǎn)BI平臺(tái)，對多個(gè)內(nèi)部細(xì)化節(jié)點(diǎn)形成對應(yīng)數(shù)據(jù)和指標(biāo)支撐；其次面向自身業(yè)務(wù)場景與角色劃分多個(gè)數(shù)據(jù)分析模塊，在對應(yīng)模塊中進(jìn)行該業(yè)務(wù)板塊的專題分析；同時(shí)模塊之間可以進(jìn)行穿透和級聯(lián)分析，實(shí)現(xiàn)對某一數(shù)據(jù)的精準(zhǔn)追溯歸因；最后，觀遠(yuǎn)BI平臺(tái)提供豐富報(bào)表圖形，一目了然，便捷和精準(zhǔn)定位問題環(huán)節(jié)。

　　此外，觀遠(yuǎn)BI平臺(tái)能夠面向不同角色提供自助式分析體驗(yàn)。

　　面向數(shù)據(jù)分析人員，觀遠(yuǎn)BI平臺(tái)數(shù)據(jù)報(bào)表能夠自動(dòng)更新，數(shù)據(jù)人員可根據(jù)自身需要靈活搭建數(shù)據(jù)看板，同時(shí)便捷的數(shù)據(jù)關(guān)聯(lián)和圖表穿透功能大大提升了數(shù)據(jù)人員進(jìn)行數(shù)據(jù)指標(biāo)關(guān)聯(lián)探索的主動(dòng)性積極性。

　　面向管理者，觀遠(yuǎn)BI平臺(tái)為不同管理層級用戶提供多維度數(shù)據(jù)同環(huán)比分析，直觀的圖表貼合管理者信息提取習(xí)慣；同時(shí)，針對該公司學(xué)校管理者較少在PC端辦公的情況，觀遠(yuǎn)數(shù)據(jù)提供移動(dòng)端入口，使用者能夠通過簡單上下左右滑動(dòng)方式查看數(shù)據(jù)及變化趨勢，進(jìn)行數(shù)據(jù)穿透，具備極高的靈活性。

　　3.分析報(bào)表秒級推送——智能化訂閱和推送預(yù)警。首先，觀遠(yuǎn)BI平臺(tái)和該公司內(nèi)部統(tǒng)一認(rèn)證的系統(tǒng)打通，實(shí)現(xiàn)統(tǒng)一登錄，精簡前端操作鏈路。其次，針對業(yè)務(wù)數(shù)據(jù)每日高頻刷新，而管理人員忙于日常辦公不能及時(shí)查看數(shù)據(jù)的問題，平臺(tái)支持自主訂閱式推送，降低人力成本；最后，針對重要業(yè)務(wù)指標(biāo)，觀遠(yuǎn)BI平臺(tái)提供預(yù)警功能，當(dāng)某一指標(biāo)突破閾值，消息能夠分秒級自動(dòng)推送到對應(yīng)負(fù)責(zé)人的釘釘，從而能夠?qū)栴}進(jìn)行快速感知和響應(yīng)。

　　雙管齊下，數(shù)據(jù)分析平臺(tái)落地推廣

　　在與觀遠(yuǎn)數(shù)據(jù)合作后，該公司為激活集團(tuán)內(nèi)部活用數(shù)據(jù)的習(xí)慣，成立BI推廣小組，創(chuàng)造性地推出了集團(tuán)與學(xué)校的三類合作模式，并面向整個(gè)集團(tuán)舉辦BI挑戰(zhàn)賽。

　　在BI平臺(tái)建設(shè)初期，公司總部為進(jìn)行針對性賦能，更好地協(xié)助各地分公司實(shí)現(xiàn)其個(gè)性化數(shù)據(jù)分析需求，成立BI推廣小組，通過與各學(xué)校的深入交流了解其業(yè)務(wù)現(xiàn)狀和數(shù)據(jù)分析能力，最終形成集團(tuán)與學(xué)校數(shù)據(jù)合作從重到輕的三類模式：

　　BI推廣小組成功將觀遠(yuǎn)BI平臺(tái)推廣至公司各個(gè)城市，初步在集團(tuán)內(nèi)部形成以BI平臺(tái)為依托的數(shù)據(jù)文化。

　　2.全面上線觀遠(yuǎn)BI平臺(tái)后，為進(jìn)一步提升覆蓋率，該公司舉辦了BI挑戰(zhàn)賽，各校區(qū)根據(jù)自身數(shù)據(jù)需求指定參賽命題，以物質(zhì)獎(jiǎng)勵(lì)吸引參賽，并各自選擇本校區(qū)優(yōu)秀選手在集團(tuán)層進(jìn)行比拼，通過評委的細(xì)致點(diǎn)評增強(qiáng)選手?jǐn)?shù)據(jù)分析能力，同時(shí)沉淀優(yōu)秀作品進(jìn)行復(fù)用。

　　在集團(tuán)總部的大力推廣下，全集團(tuán)人員在觀遠(yuǎn)BI平臺(tái)之上逐步挖掘出集團(tuán)數(shù)據(jù)分析潛能，在內(nèi)部形成了濃厚的數(shù)據(jù)文化。

　　一以貫之，BI平臺(tái)賦能業(yè)務(wù)與數(shù)據(jù)深度融合

　　通過BI平臺(tái)的全面鋪開，該公司原有經(jīng)營分析邏輯在觀遠(yuǎn)BI平臺(tái)完美兌現(xiàn)，業(yè)務(wù)與數(shù)據(jù)的融合程度逐漸加深，從而提升了整個(gè)集團(tuán)開源節(jié)流、敏捷響應(yīng)的能力。具體而言：

　　1.精準(zhǔn)數(shù)據(jù)分析賦能精細(xì)化業(yè)務(wù)運(yùn)營管控，實(shí)現(xiàn)開源節(jié)流。針對招生和成本兩大重要問題，觀遠(yuǎn)BI平臺(tái)能夠讓該公司管理層對于企業(yè)關(guān)鍵數(shù)據(jù)指標(biāo)進(jìn)行精準(zhǔn)分析和洞察，生源線索回訪支持從原來的一月后回訪精細(xì)到一周、兩周、三周后，從而實(shí)現(xiàn)精細(xì)化業(yè)務(wù)管控，更有針對性進(jìn)行擴(kuò)新，降低運(yùn)營成本。

　　2.高效數(shù)據(jù)分析與推送賦能業(yè)務(wù)敏態(tài)調(diào)整，快速實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)型。首先，觀遠(yuǎn)BI平臺(tái)提升了取數(shù)、分析、可視化和結(jié)果推送全流程效率，使業(yè)務(wù)側(cè)從原來的事后響應(yīng)轉(zhuǎn)變?yōu)槭轮杏行Ц深A(yù)，大大提升了業(yè)務(wù)的敏捷性。其次，受“雙減”影響，業(yè)務(wù)變革導(dǎo)致數(shù)據(jù)分析邏輯也要隨之進(jìn)行重大調(diào)整，觀遠(yuǎn)BI的輕量化數(shù)據(jù)分析能力支持?jǐn)?shù)據(jù)分析需求靈活變更，有效節(jié)約變革的時(shí)間、人力、資金成本，幫助上下快速適應(yīng)并投入新業(yè)務(wù)的運(yùn)轉(zhuǎn)。

　　2）在不同業(yè)務(wù)場景選用嵌入數(shù)據(jù)分析能力的SaaS產(chǎn)品。

　　出于投入產(chǎn)出比的考慮，大量企業(yè)在財(cái)務(wù)、營銷、HR、供應(yīng)鏈等各個(gè)業(yè)務(wù)場景中使用垂直領(lǐng)域廠商的SaaS產(chǎn)品進(jìn)行協(xié)作與管理，而這些產(chǎn)品往往在自身領(lǐng)域已經(jīng)形成高度成熟和體系化的業(yè)務(wù)邏輯沉淀，而在產(chǎn)品中嵌入數(shù)據(jù)分析能力則能夠幫助企業(yè)快速且具有針對性地實(shí)現(xiàn)垂直業(yè)務(wù)場景中的各類分析需求，在各個(gè)業(yè)務(wù)場景實(shí)現(xiàn)業(yè)務(wù)和數(shù)據(jù)的小閉環(huán)，提升精細(xì)化運(yùn)營水平。

　　案例7：分貝通借助衡石科技數(shù)據(jù)分析PaaS平臺(tái)快速落地?cái)?shù)據(jù)分析能力，實(shí)現(xiàn)產(chǎn)品價(jià)值進(jìn)階

　　北京分貝通科技有限公司（以下簡稱“分貝通”）成立于2016年，致力于為企業(yè)提供整合費(fèi)控、場景、支付、報(bào)銷于一體的新一代支出管理平臺(tái)，通過企業(yè)支付+員工墊付報(bào)銷，實(shí)現(xiàn)無死角覆蓋全部企業(yè)費(fèi)用支出，幫助企業(yè)費(fèi)用管理更高效，更優(yōu)化。目前已累計(jì)服務(wù)元?dú)馍?、海底撈、湯臣倍健等?shù)千家高成長企業(yè)。

　　數(shù)據(jù)分析能力漸成客戶剛需，自研、外采均難以滿足

　　在業(yè)財(cái)融合的大趨勢下，財(cái)務(wù)的工作重心正逐漸從基礎(chǔ)財(cái)會(huì)過渡為數(shù)據(jù)統(tǒng)計(jì)、經(jīng)營分析，企業(yè)財(cái)務(wù)人員及管理層對數(shù)據(jù)分析和報(bào)表的需求強(qiáng)烈。因此，對于分貝通而言，SaaS產(chǎn)品數(shù)據(jù)分析功能的完備性直接影響到新客拓展與老客續(xù)約。

　　在數(shù)據(jù)分析功能上線之前，為了解決客戶對數(shù)據(jù)分析報(bào)表的需求，分貝通只能通過系統(tǒng)+人工處理的方式，由分貝通的專業(yè)顧問幫助客戶做數(shù)據(jù)梳理，再以PPT形式提供給客戶。每份報(bào)表需要數(shù)個(gè)人天的工作量，每月數(shù)十份定制報(bào)表的需求不僅為分貝通帶來了很大的負(fù)擔(dān)，同時(shí)也只能服務(wù)部分KA客戶，難以滿足所有客戶財(cái)務(wù)部門定期定量的數(shù)據(jù)分析、報(bào)表需求。

　　基于上述痛點(diǎn)，分貝通迫切需要在產(chǎn)品中增加數(shù)據(jù)分析能力，滿足各類客戶的業(yè)務(wù)人員和管理層對于數(shù)據(jù)分析的共性和個(gè)性化需求，同時(shí)提升公司內(nèi)部對大客戶定制化報(bào)表的服務(wù)效率。然而分貝通發(fā)現(xiàn)，無論是自研還是采購市場上主流BI產(chǎn)品，均不能完全滿足當(dāng)下需求。具體而言：

　　1.自研投入成本過高：分貝通產(chǎn)品需聚合20多個(gè)場景、API直連200家以上供應(yīng)商，自研數(shù)據(jù)分析和報(bào)表功能需要投入數(shù)十位專業(yè)數(shù)據(jù)工程師持續(xù)研發(fā)6-12個(gè)月，且面臨較高的研發(fā)失敗風(fēng)險(xiǎn)；外采+自研的方案下，由于大多數(shù)BI廠商缺少產(chǎn)品功能模塊化輸出的能力，導(dǎo)致采購和維護(hù)費(fèi)用高昂，且需要設(shè)置專門的報(bào)表團(tuán)隊(duì)，成本總計(jì)過百萬元/年。

　　2.外采產(chǎn)品，個(gè)性化分析需求難滿足：分貝通客戶群體行業(yè)屬性和體量差異大，對于個(gè)性化分析需求，市面主流BI產(chǎn)品普遍需要由專業(yè)數(shù)據(jù)分析師根據(jù)需求重新搭建分析模型才能實(shí)現(xiàn)，無法由業(yè)務(wù)人員進(jìn)行自助分析，使用這類產(chǎn)品無法改變分貝通需花費(fèi)大量人工成本為客戶代勞的情況。

　　嵌入衡石科技數(shù)據(jù)分析PaaS平臺(tái)，滿足場景化數(shù)據(jù)分析和多租戶管理需求

　　經(jīng)過多方探尋，分貝通接觸到衡石科技，經(jīng)評估后認(rèn)為，HENGSHISENSE數(shù)據(jù)分析PaaS平臺(tái)在技術(shù)先進(jìn)性和產(chǎn)品成熟度方面具有明顯優(yōu)勢，能夠與SaaS軟件快速實(shí)現(xiàn)無縫對接，模板化沉淀分析場景，并一鍵發(fā)布給SaaS多租戶，完美貼合分貝通的需求，隨即與衡石科技展開合作。

　　衡石科技是一家數(shù)據(jù)分析和BI領(lǐng)域的標(biāo)準(zhǔn)化軟件廠商，核心團(tuán)隊(duì)來自Amazon、BAT、秒針等頂級高科技公司大數(shù)據(jù)部門，以AnalyticsasaService形態(tài)，靈活高效地生成高價(jià)值的數(shù)據(jù)應(yīng)用場景，賦能各行業(yè)客戶持續(xù)構(gòu)建數(shù)據(jù)生產(chǎn)力。

　　衡石科技為分貝通提供HENGSHISENSE數(shù)據(jù)分析PaaS平臺(tái)，以強(qiáng)大的數(shù)據(jù)全生命周期管理、分析和可視化能力，以及成熟的多租戶功能，幫助分貝通輕松搭建起既能滿足客戶多樣化大數(shù)據(jù)分析需求，又能實(shí)現(xiàn)平臺(tái)多租戶數(shù)據(jù)自動(dòng)隔離的在線數(shù)據(jù)分析體系，全面提升客戶企業(yè)財(cái)務(wù)數(shù)據(jù)分析的便捷性、有效性，同時(shí)確保數(shù)據(jù)安全性。

　　1.覆蓋數(shù)據(jù)全生命周期，高效便捷滿足客戶多樣化個(gè)性化數(shù)據(jù)分析需求

　　高效低門檻HQL語義建模：HENGSHI SENSE按照ELT+Embed的新型分析范式，結(jié)合衡石科技獨(dú)創(chuàng)的HQL語義層徹底實(shí)現(xiàn)存算分離，數(shù)據(jù)分析無需依賴數(shù)據(jù)倉庫的數(shù)據(jù)處理性能，更加高效；統(tǒng)一數(shù)據(jù)定義及指標(biāo)定義，大大降低數(shù)據(jù)分析門檻，真正實(shí)現(xiàn)將數(shù)據(jù)分析能力開放給業(yè)務(wù)人員使用。

　　零代碼快速搭建業(yè)務(wù)分析場景：嵌入HENGSHI SENSE分析系統(tǒng)，具備低門檻，易上手的特點(diǎn)，能夠5分鐘內(nèi)拖拉拽完成自助式分析，幫助分貝通實(shí)現(xiàn)整個(gè)數(shù)據(jù)鏈路端到端的處理及搭建分析場景。

　　豐富場景化模板和自定義分析功能一站式滿足分析需求：衡石科技將數(shù)據(jù)分析能力提供給分貝通，分貝通以多年積累的業(yè)財(cái)行業(yè)know-how與服務(wù)標(biāo)桿客戶的需求洞察為基礎(chǔ)，對客戶所需分析維度進(jìn)行整合，再配置到在線數(shù)據(jù)分析的產(chǎn)品模塊中，從而沉淀出豐富實(shí)用的數(shù)據(jù)分析場景。對于分貝通客戶可直接應(yīng)用分貝通已搭建好的費(fèi)用趨勢預(yù)測、多維消費(fèi)對比、行為數(shù)據(jù)分析等多種多樣的分析場景模板，對于大型客戶則提供自定義Dashboard滿足更高階的財(cái)務(wù)分析需求。

　　此外，衡石科技提供的數(shù)據(jù)分析功能支持多屏自適應(yīng)，可以在手機(jī)端和PC端的快速上線分析場景。

　　2.強(qiáng)大的多租戶服務(wù)支持，適配SaaS產(chǎn)品數(shù)據(jù)安全與租戶數(shù)據(jù)管控需求

　　在認(rèn)證方式集成上，HENGSHI SENSE內(nèi)置了Oauth2、企業(yè)微信、釘釘、CAS、JWT等多種認(rèn)證方式，可實(shí)現(xiàn)快速對接，且對于不同的租戶可支持不同的認(rèn)證方式。

　　在租戶數(shù)據(jù)管控上，HENGSHI SENSE首先建立了靈活的數(shù)據(jù)權(quán)限管控能力，基于復(fù)雜組織架構(gòu)，給不同的租戶配置不同的用戶屬性值，并按賬戶進(jìn)行最小粒度權(quán)限控制，實(shí)現(xiàn)千人千面的效果；其次，HENGSHI SENSE擁有完整的權(quán)限控制體系，可以采用租戶管理員自由管控、租戶屬性控制租戶數(shù)據(jù)庫連接等多種管控方式，快速幫助分貝通實(shí)現(xiàn)租戶數(shù)據(jù)的完全隔離，保障租戶數(shù)據(jù)安全、準(zhǔn)確。

　　分貝通依托HENGSHI SENSE強(qiáng)大的開箱即用能力，短時(shí)間內(nèi)完成產(chǎn)品部署和交付，無需專門的實(shí)施團(tuán)隊(duì)。后續(xù)依靠分貝通的客戶成功團(tuán)隊(duì)，在兩周內(nèi)完成了與分貝通20個(gè)2C大平臺(tái)、150多個(gè)2B2代理、70多個(gè)終端供應(yīng)商、自營直采5000多個(gè)SKU的對接工作，相比傳統(tǒng)BI，部署時(shí)間提升10倍以上，有力推動(dòng)了產(chǎn)品功能快速上線使用。

　　低成本快速滿足客戶數(shù)據(jù)分析需求，帶來新客轉(zhuǎn)化與續(xù)約持續(xù)提升

　　分貝通上線HENGSHI SENSE，不僅大大節(jié)約了分貝通的自研成本和人工制表成本，同時(shí)大幅提升了分貝通的市場競爭力，用高效便捷的數(shù)據(jù)分析能力吸引大批客戶，推動(dòng)公司長遠(yuǎn)發(fā)展。

　　1.節(jié)約人工成本與研發(fā)成本

　　分貝通產(chǎn)品自此實(shí)現(xiàn)報(bào)表分鐘級創(chuàng)建，實(shí)時(shí)更新，并通過配置按權(quán)限直接批量發(fā)布，使分貝通數(shù)據(jù)分析效率提升十倍以上，無需數(shù)據(jù)工程師幫助，節(jié)省初期研發(fā)費(fèi)用數(shù)百萬元。

　　2.快速迭代升級，提升產(chǎn)品競爭力

　　分貝通能夠借助HENGSHISENSE架構(gòu)的靈活性快速按照新的業(yè)務(wù)需求和想法迭代數(shù)據(jù)分析功能，2022年初上線在線數(shù)據(jù)分析功能后，分貝通在幾乎無需依賴衡石科技的情況下，1個(gè)月建成費(fèi)控行業(yè)專業(yè)分析場景，3個(gè)月實(shí)現(xiàn)專業(yè)的數(shù)據(jù)分析功能反超業(yè)內(nèi)其他費(fèi)控SaaS廠商，產(chǎn)品競爭力大大提升。

　　3.真實(shí)降本，大幅提升客戶滿意度

　　分貝通借助HENGSHISENSE滿足財(cái)務(wù)在進(jìn)行費(fèi)用管理時(shí)90%以上的數(shù)據(jù)分析需求，通過數(shù)據(jù)分析輔助規(guī)則設(shè)定后，為分貝通每家客戶平均節(jié)省20%以上開支，直接優(yōu)化了終端企業(yè)的費(fèi)用支出。同時(shí)，分貝通數(shù)據(jù)分析模塊可以直接生成業(yè)務(wù)回顧報(bào)告供財(cái)務(wù)人員高效匯報(bào)工作，將產(chǎn)品價(jià)值直接傳遞到客戶企業(yè)核心管理層，大大加深客戶對分貝通產(chǎn)品價(jià)值認(rèn)同。

　　7.數(shù)據(jù)智能行業(yè)應(yīng)用從監(jiān)測、診斷性分析走向智能決策

　　7.1企業(yè)需求由識(shí)別現(xiàn)狀和問題向?qū)崿F(xiàn)智能決策轉(zhuǎn)變

　　在數(shù)字化浪潮下，人們?nèi)粘Ｉa(chǎn)生活而成的數(shù)據(jù)與日俱增，數(shù)據(jù)逐步成為企業(yè)、政府部門開展業(yè)務(wù)的重要依據(jù)。企業(yè)紛紛進(jìn)行數(shù)字化轉(zhuǎn)型，在采集數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)、管理數(shù)據(jù)、計(jì)算數(shù)據(jù)層面已經(jīng)建立了認(rèn)知。

　　當(dāng)下，企業(yè)面臨精細(xì)化運(yùn)營需求，多變的用戶需求對企業(yè)決策效率提出更高的要求，復(fù)雜的應(yīng)用場景增加了決策考慮難度。然而傳統(tǒng)的大數(shù)據(jù)和人工智能技術(shù)建模和分析只能識(shí)別現(xiàn)狀和問題，在根因分析、數(shù)據(jù)關(guān)系挖掘和決策支持方面作用有限，仍然需要大量人工介入才能給予業(yè)務(wù)反饋，不能滿足企業(yè)決策速度要求。企業(yè)對于數(shù)據(jù)智能應(yīng)用需求正在從數(shù)據(jù)采集監(jiān)測、診斷性分析向決策支持轉(zhuǎn)變。

　　企業(yè)、政府部門需要運(yùn)用更先進(jìn)的人工智能技術(shù)高效精準(zhǔn)地搭建算法模型進(jìn)行業(yè)務(wù)判斷、識(shí)別以及預(yù)測，從廣度和深度上充分挖掘數(shù)據(jù)價(jià)值，為企業(yè)和政府部門業(yè)務(wù)開展高效賦能。企業(yè)和政府部門對數(shù)據(jù)智能解決方案有以下幾個(gè)層面的需求：

　　一是深度挖掘數(shù)據(jù)價(jià)值，提高數(shù)據(jù)利用率。廣泛收集、存儲(chǔ)、管理海量數(shù)據(jù)以后，在應(yīng)用層面更需要對數(shù)據(jù)進(jìn)行計(jì)算和分析，判斷數(shù)據(jù)性質(zhì)，分析數(shù)據(jù)特征，結(jié)合各行業(yè)領(lǐng)域知識(shí)積累深度挖掘數(shù)據(jù)價(jià)值，為企業(yè)和政府部門提供決策參考。

　　二是精準(zhǔn)快速出具最優(yōu)解決方案。決策場景遍布企業(yè)和政府部門業(yè)務(wù)環(huán)節(jié)，選擇哪個(gè)排產(chǎn)方案最優(yōu)？哪個(gè)出行方案最合理？哪個(gè)營銷方案效果最好？面對每個(gè)具體場景，能夠廣泛采集相關(guān)領(lǐng)域的信息，快速組合形成多項(xiàng)解決路徑，在場景的約束條件下出具優(yōu)決策方案。

　　三是深入應(yīng)用場景，形成行業(yè)領(lǐng)域知識(shí)沉淀和工作方法論。數(shù)據(jù)基礎(chǔ)設(shè)施構(gòu)建已經(jīng)成為企業(yè)和政府部門數(shù)字化轉(zhuǎn)型過程中的必經(jīng)之路，但行業(yè)應(yīng)用解決方案還要與行業(yè)知識(shí)深度融合，充分運(yùn)用專家經(jīng)驗(yàn)，形成行業(yè)領(lǐng)域知識(shí)沉淀和工作方法論，才能夠在具體業(yè)務(wù)場景中充分地、長久地發(fā)揮數(shù)據(jù)價(jià)值。

　　7.2靈活應(yīng)用智能決策技術(shù)高效解決企業(yè)業(yè)務(wù)決策難題

　　現(xiàn)階段，基于上述需求及痛點(diǎn)，運(yùn)用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、運(yùn)籌優(yōu)化、知識(shí)圖譜等人工智能技術(shù)和大數(shù)據(jù)技術(shù)深度挖掘數(shù)據(jù)價(jià)值，識(shí)別判斷數(shù)據(jù)性質(zhì)，構(gòu)建數(shù)據(jù)知識(shí)網(wǎng)絡(luò)，綜合多項(xiàng)信息建立訓(xùn)練模型，不斷優(yōu)化模型精準(zhǔn)度，快速輸出優(yōu)質(zhì)的決策方案，憑借更多樣的呈現(xiàn)形式以支持各領(lǐng)域企業(yè)或部門實(shí)現(xiàn)高效決策。

　　7.2.1運(yùn)用安全大數(shù)據(jù)解決方案監(jiān)測潛在威脅，保障數(shù)據(jù)安全

　　在數(shù)據(jù)安全方面，可將數(shù)據(jù)存儲(chǔ)和分析模型不斷擴(kuò)展形成存儲(chǔ)分析集群，對海量數(shù)據(jù)進(jìn)行全量數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)查詢、多維分析。通過訓(xùn)練AI分析模型對安全數(shù)據(jù)進(jìn)行判斷和分析，從海量數(shù)據(jù)中提取特征，完成風(fēng)險(xiǎn)判定，實(shí)時(shí)對已知和未知的安全威脅進(jìn)行監(jiān)控預(yù)警。

　　案例8：某大型金融組織運(yùn)用多級聯(lián)安全計(jì)算分析系統(tǒng)高效處理全流量安全數(shù)據(jù)

　　某國內(nèi)大型金融組織處于我國銀行產(chǎn)業(yè)的核心和樞紐地位，對我國銀行產(chǎn)業(yè)發(fā)展發(fā)揮著基礎(chǔ)性作用。截至2021年底，除總公司外，在全國范圍內(nèi)設(shè)有30+家地方分支機(jī)構(gòu)，創(chuàng)投分支機(jī)構(gòu)，以及境外國際分公司等。對于這樣的金融樞紐企業(yè)而言，其管理與技術(shù)體系規(guī)模復(fù)雜且龐大。為應(yīng)對場景日益復(fù)雜的銀行清算業(yè)務(wù)以及不法分子層出不窮的釣魚郵件、web攻擊等風(fēng)險(xiǎn)，該金融組織組織在網(wǎng)絡(luò)中構(gòu)建了應(yīng)對日益復(fù)雜多樣的風(fēng)險(xiǎn)與威脅的安全防護(hù)措施，在提升安全性的同時(shí)，也使得安全數(shù)據(jù)處理難度大幅提升。

　　因此，在復(fù)雜網(wǎng)絡(luò)環(huán)境和海量日志中，如何對千億級數(shù)據(jù)進(jìn)行全量數(shù)據(jù)存儲(chǔ)和實(shí)時(shí)查詢、多維分析，如何對已知和未知的安全威脅進(jìn)行監(jiān)控預(yù)警，能否匹配IT集中化、數(shù)據(jù)集中化、基礎(chǔ)設(shè)施云化的發(fā)展趨勢，以及能否支持多級級聯(lián)部署、多分支機(jī)構(gòu)安全管理等，是該大型金融對安全大數(shù)據(jù)解決方案的考察重點(diǎn)。

　　基于以上考慮，該大型金融組織需要能夠采集、整合、治理、分析、監(jiān)測大規(guī)模安全數(shù)據(jù)的多級級聯(lián)部署的安全計(jì)算分析平臺(tái)，通過可行性研究和對眾多技術(shù)方案的遴選，最終選擇了斗象科技作為合作伙伴。斗象科技成立于2014年，是中國領(lǐng)先的網(wǎng)絡(luò)安全數(shù)據(jù)智能與安全運(yùn)營提供商，為政府及企業(yè)提供安全數(shù)據(jù)智能與安全運(yùn)營產(chǎn)品的解決方案。

　　該大型金融組織與斗象科技合作搭建的安全大數(shù)據(jù)項(xiàng)目需要實(shí)現(xiàn)以下目標(biāo)：

　　1）大規(guī)模的網(wǎng)絡(luò)流量采集：解決方案能夠支持該金融組織大規(guī)模網(wǎng)絡(luò)流量采集、檢測與分析，適應(yīng)未來5-10年集團(tuán)網(wǎng)絡(luò)發(fā)展規(guī)劃；

　　2）高可用、可水平擴(kuò)展的系統(tǒng)：在業(yè)務(wù)活動(dòng)流量激增、異常等情況下，系統(tǒng)還具有高可用性、支持水平靈活擴(kuò)展，能夠滿足處理性能提升和存儲(chǔ)擴(kuò)容的需求；

　　3）大數(shù)據(jù)溯源、取證：系統(tǒng)以大數(shù)據(jù)技術(shù)為基礎(chǔ)，對網(wǎng)絡(luò)報(bào)文進(jìn)行高速捕獲、深度解析與存儲(chǔ)，支持異常事件的回溯分析以及調(diào)查取證；

　　4）支持多級級聯(lián)部署、多分支機(jī)構(gòu)安全管理：系統(tǒng)以數(shù)據(jù)分析為核心，驅(qū)動(dòng)常態(tài)化攻防體系不斷建設(shè)和完善，實(shí)現(xiàn)不同層級防御系統(tǒng)之間的協(xié)作與聯(lián)防聯(lián)控。

　　根據(jù)現(xiàn)有架構(gòu)和外部經(jīng)驗(yàn)，建設(shè)多級聯(lián)安全計(jì)算分析平臺(tái)

　　在安全大數(shù)據(jù)項(xiàng)目中，該大型金融組織的IT團(tuán)隊(duì)與斗象科技團(tuán)隊(duì)共同合作，對集團(tuán)總部、分支機(jī)構(gòu)安全業(yè)務(wù)進(jìn)行了整體梳理，構(gòu)建了以數(shù)據(jù)分析為核心的PRS“中心計(jì)算+區(qū)域節(jié)點(diǎn)”級聯(lián)解決方案架構(gòu)。

　　PRS“中心計(jì)算+區(qū)域節(jié)點(diǎn)”級聯(lián)架構(gòu)是由上海、北京的全網(wǎng)絡(luò)流量安全分析系統(tǒng)控制臺(tái)和部署在全國32個(gè)全網(wǎng)絡(luò)流量安全分析系統(tǒng)引擎組成。

　　斗象科技提供的解決方案中，上海、北京總部的PRS-NTA系統(tǒng)控制臺(tái)可以實(shí)現(xiàn)整體級聯(lián)方案的數(shù)據(jù)匯總、分析與管理，省級分公司可以向總部控制臺(tái)同步各分區(qū)的威脅告警信息、配置信息等。兩臺(tái)高可用的管理控制臺(tái)可以保證若其中一臺(tái)出現(xiàn)故障，另一臺(tái)也能正常管理流量安全分析引擎，并保持所有功能正常使用。

　　32個(gè)省級分公司的PRS-NTA安全分析引擎可以進(jìn)行區(qū)域流量的協(xié)議解析、威脅檢測及數(shù)據(jù)加工存儲(chǔ)，包括引擎管理模塊、流量偵測模塊、數(shù)據(jù)存儲(chǔ)模塊、模型檢測模塊等。安全分析引擎將流量日志保存在本地，最終將風(fēng)險(xiǎn)信息通過互聯(lián)專線上送到上海、北京的全網(wǎng)絡(luò)流量安全分析系統(tǒng)控制臺(tái)中，控制臺(tái)可對所有引擎的所有風(fēng)險(xiǎn)信息統(tǒng)一管控。

　　斗象科技的PRS-NTA安全分析存儲(chǔ)集群可以實(shí)現(xiàn)海量數(shù)據(jù)處理能力。在數(shù)據(jù)采集層利用DPDK進(jìn)行數(shù)據(jù)包捕獲，利用最小的資源捕獲最全的數(shù)據(jù)包，進(jìn)而通過消息傳輸層的Kafka集群將數(shù)據(jù)包傳遞給安全智能分析引擎的業(yè)務(wù)應(yīng)用中，滿足對網(wǎng)絡(luò)流量數(shù)據(jù)的全面管理。再通過數(shù)據(jù)解析層將原始流量數(shù)據(jù)進(jìn)行深度報(bào)文解析和基礎(chǔ)安全識(shí)別，可進(jìn)行特征分析、統(tǒng)計(jì)分析、智能安全分析、攻擊畫像分析、調(diào)查畫布分析和異常行為分析，將分析數(shù)據(jù)用歸一化格式存儲(chǔ)在安全數(shù)據(jù)湖中。除了實(shí)時(shí)分析數(shù)據(jù)外，安全數(shù)據(jù)湖還可存儲(chǔ)原始數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，能夠?yàn)樗屑墑e的計(jì)算與決策制定提供所有類型數(shù)據(jù)集合的支撐。

　　該級聯(lián)方案設(shè)計(jì)對控制臺(tái)、引擎之間互聯(lián)專線的帶寬負(fù)載并不會(huì)造成壓力，當(dāng)控制臺(tái)需要查詢對應(yīng)的風(fēng)險(xiǎn)數(shù)據(jù)詳情時(shí)，可直接免密訪問各區(qū)域引擎的流量日志，最大化保證安全風(fēng)險(xiǎn)集中管控的時(shí)效性。同時(shí)，控制臺(tái)、引擎之間的數(shù)據(jù)都會(huì)以加密的方式傳輸，保證數(shù)據(jù)的安全性、可靠性、完整性。

　　安全計(jì)算分析平臺(tái)滿足穩(wěn)定采集、全量存儲(chǔ)、精準(zhǔn)回溯、集中管控安全數(shù)據(jù)的多層次需求

　　-該大型金融組織通過分支試點(diǎn)建設(shè)、全面落地安全計(jì)算分析平臺(tái)，在安全數(shù)據(jù)檢測與分析上實(shí)現(xiàn)了以下價(jià)值和效果：

　　第一，穩(wěn)定的數(shù)據(jù)采集性能，具備全量數(shù)據(jù)存儲(chǔ)、高速檢索以及靈活的擴(kuò)容能力。分析平臺(tái)能夠采集并實(shí)時(shí)處置60-80Gbps的數(shù)據(jù)，日均流量日志數(shù)達(dá)百億條。分析平臺(tái)可對數(shù)據(jù)進(jìn)行冷、熱分離處理，滿足了集團(tuán)PB級數(shù)據(jù)存儲(chǔ)與秒級檢索的需求。安全分析引擎系統(tǒng)可以支持橫向無縫擴(kuò)展，能夠滿足未來5-10年的安全建設(shè)擴(kuò)容需求。

　　第二，能夠進(jìn)行安全事件回溯與調(diào)查取證。全流量安全計(jì)算分析平臺(tái)可對協(xié)議上下文與協(xié)議內(nèi)容進(jìn)行調(diào)查取證，可以快速定位風(fēng)險(xiǎn)事件與協(xié)議事件的關(guān)系。同時(shí)，還可以觸發(fā)告警事件，通過查看告警事件分析，可以追溯攻擊事件發(fā)生的時(shí)間、IT資產(chǎn)、攻擊類型等。

　　第三，能夠?qū)崿F(xiàn)級聯(lián)部署和集中管控。落地的安全計(jì)算分析平臺(tái)支持級聯(lián)部署和集中管控，分公司可以通過互聯(lián)專線將告警事件上送，在總控平臺(tái)上查看告警信息。不僅如此，在總控平臺(tái)上可以對原始數(shù)據(jù)選定區(qū)域后進(jìn)行查詢，能夠連接到下層分析平臺(tái)進(jìn)行查詢，實(shí)現(xiàn)安全數(shù)據(jù)的集中管控。

　　全流量安全計(jì)算分析平臺(tái)有效降低人力參與成本、提高安全運(yùn)營效能

　　1、借助AI賦能安全應(yīng)用，降低人力參與成本。人工智能可以直接利用原始數(shù)據(jù)進(jìn)行訓(xùn)練，從大量的數(shù)據(jù)中提取特征，自動(dòng)完成分類判定的工作。在保障監(jiān)測效果的同時(shí)，還能夠?qū)θ斯?、非智能技術(shù)手段起部分替代作用，從而降低成本。

　　2、通過人機(jī)結(jié)合的方式，建立多維度的網(wǎng)絡(luò)安全防御體系。該大型金融安全計(jì)算分析平臺(tái)PRS能夠在第一時(shí)間發(fā)現(xiàn)和識(shí)別威脅，其智能檢測機(jī)制有助于簡化流程、降低成本。同時(shí)，能夠全面提高網(wǎng)絡(luò)空間各類威脅的響應(yīng)和應(yīng)對速度，全面提高風(fēng)險(xiǎn)防范的預(yù)見性和準(zhǔn)確性。

　　3、改善安全防御體系和提高安全運(yùn)營效能。全流量安全計(jì)算分析平臺(tái)PRS能夠全面提高威脅攻擊的識(shí)別、響應(yīng)和應(yīng)對速度，提升風(fēng)險(xiǎn)防范的預(yù)見性和準(zhǔn)確性，極大地改善了企業(yè)安全防御體系，提高了安全運(yùn)營效能。

　　7.2.2融媒體技術(shù)為媒體領(lǐng)域高效采集、生產(chǎn)、分發(fā)和接收內(nèi)容提供更優(yōu)方案

　　融媒體平臺(tái)是數(shù)據(jù)中臺(tái)與媒體業(yè)務(wù)結(jié)合的產(chǎn)物，幫助企業(yè)融合多源異構(gòu)數(shù)據(jù)，匯聚媒體企業(yè)歷史數(shù)據(jù)資產(chǎn)、接受外部共享的數(shù)據(jù)信息、實(shí)現(xiàn)內(nèi)部資源開放互通，構(gòu)建媒體領(lǐng)域知識(shí)體系，為內(nèi)容創(chuàng)新持續(xù)賦能。

　　案例9：新華社建立智慧中臺(tái)，實(shí)現(xiàn)融媒體數(shù)據(jù)、業(yè)務(wù)、渠道高效統(tǒng)籌

　　新華社媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室（以下簡稱“新華社國家重點(diǎn)實(shí)驗(yàn)室”）是在中宣部指導(dǎo)下、科技部批準(zhǔn)建設(shè)的媒體融合生產(chǎn)領(lǐng)域首個(gè)國家重點(diǎn)實(shí)驗(yàn)室。新華社國家重點(diǎn)實(shí)驗(yàn)室順應(yīng)了全程媒體、全息媒體、全員媒體、全效媒體發(fā)展趨勢，重點(diǎn)圍繞人工智能在新聞生產(chǎn)流程中的應(yīng)用，面向跨媒體信息分析與推理、人機(jī)協(xié)同復(fù)雜問題分析、響應(yīng)及評估等方向，開展媒體融合生產(chǎn)技術(shù)與系統(tǒng)應(yīng)用基礎(chǔ)理論研究。

　　在“加快推進(jìn)媒體融合發(fā)展，建設(shè)國際一流新型全媒體機(jī)構(gòu)”的背景下，新華社國家重點(diǎn)實(shí)驗(yàn)室的建設(shè)圍繞以下三個(gè)問題展開：國際一流的新型群體機(jī)構(gòu)需要怎樣的技術(shù)體系？如何建設(shè)新一代技術(shù)體系？如何運(yùn)用先進(jìn)技術(shù)推動(dòng)國際一流新型全媒體機(jī)構(gòu)建設(shè)？根據(jù)上述明確要求，新華社從技術(shù)底層、技術(shù)應(yīng)用、技術(shù)輸出三個(gè)層面發(fā)力，進(jìn)一步探索融媒體技術(shù)研發(fā)以及創(chuàng)新性融媒體技術(shù)應(yīng)用，賦能自身媒體業(yè)務(wù)智能化轉(zhuǎn)型的同時(shí)，助力全行業(yè)媒體融合的一體化發(fā)展。

　　傳統(tǒng)媒體管理平臺(tái)無法適應(yīng)當(dāng)下日益多元的媒資管理需求

　　傳統(tǒng)媒體管理平臺(tái)普遍存在數(shù)據(jù)孤島、編目傳統(tǒng)、生產(chǎn)效率低、審核困難、利用率低等痛點(diǎn)：

　　1）數(shù)據(jù)孤島：傳統(tǒng)媒體資產(chǎn)管理平臺(tái)與平臺(tái)間互相獨(dú)立且封閉，無法滿足媒體融合發(fā)展互融互通的需要；

　　2）編目傳統(tǒng)：傳統(tǒng)的編目方式成本高、體系復(fù)雜，時(shí)效性低，無法適應(yīng)當(dāng)下媒體的發(fā)展變化；

　　3）生產(chǎn)效率低：現(xiàn)有的內(nèi)容生產(chǎn)工具效率低下、無法適應(yīng)日益新增的海量素材和二次制作內(nèi)容制作情況；

　　4）審核困難：新媒體多模態(tài)數(shù)據(jù)量快速提升，在引入和輸出方面都對審核工作造成巨大壓力，傳統(tǒng)的審核手段效果差；

　　5）利用率低：傳統(tǒng)媒體資產(chǎn)內(nèi)容庫含有大量數(shù)據(jù)，標(biāo)簽體系不一，檢索維度少、準(zhǔn)確度較低。

　　相對于傳統(tǒng)媒體管理平臺(tái)面對的諸多難題，新一輪科技革命興起，5G、大數(shù)據(jù)、人工智能等應(yīng)用到新聞?lì)I(lǐng)域，讓傳媒業(yè)實(shí)現(xiàn)了深度變革。作為國家通訊社，新華社亟需將5G、大數(shù)據(jù)、人工智能等先進(jìn)科技，運(yùn)用在新聞采集、生產(chǎn)、分發(fā)、接收、反饋全流程，解決融媒體信息資源管理難題，通過知識(shí)圖譜、自然語言理解、多模態(tài)語義知識(shí)搜索與推薦等核心技術(shù)能力，搭建整合新華社內(nèi)外數(shù)據(jù)資源、實(shí)現(xiàn)融媒體業(yè)務(wù)數(shù)據(jù)化的智慧中臺(tái)，將數(shù)據(jù)資產(chǎn)、知識(shí)資產(chǎn)融合共享，通過中臺(tái)實(shí)現(xiàn)對各類應(yīng)用的數(shù)據(jù)賦能、AI賦能、運(yùn)營賦能、決策賦能，由此推進(jìn)媒體移動(dòng)化、數(shù)字化、智能化進(jìn)程，為提升傳播力、引導(dǎo)力、影響力、公信力提供技術(shù)支撐。

　　“2服務(wù)6中臺(tái)”助力新華社構(gòu)建新型融媒體機(jī)構(gòu)

　　為加快推進(jìn)融合發(fā)展轉(zhuǎn)型升級，新華社國家重點(diǎn)實(shí)驗(yàn)室青睞的合作廠商需要具備以下能力要素：

　　1）能夠在媒體領(lǐng)域長期深耕，對融媒體機(jī)構(gòu)如何建設(shè)新一代技術(shù)體系擁有獨(dú)到見解；

　　2）能夠充分理解新華社媒體業(yè)務(wù)，以國際一流新型全媒體機(jī)構(gòu)建設(shè)提供個(gè)性化整套解決方案為出發(fā)點(diǎn)；

　　3）自主掌控核心技術(shù)，其技術(shù)研發(fā)能力行業(yè)領(lǐng)先。

　　通過對眾多廠商方案的可行性研究和對比，新華社國家重點(diǎn)實(shí)驗(yàn)室最終選擇了中科聞歌作為此次智慧中臺(tái)項(xiàng)目的合作伙伴。

　　中科聞歌是中國科學(xué)院旗下企業(yè)，成立于2017年，是一家數(shù)據(jù)與決策智能服務(wù)商。中科聞歌團(tuán)隊(duì)深耕數(shù)據(jù)智能+人工智能+運(yùn)籌科學(xué)領(lǐng)域十余年，研發(fā)團(tuán)隊(duì)吸納了各領(lǐng)域高水平技術(shù)人才，經(jīng)過了中科院“弘光專項(xiàng)”、國家科技創(chuàng)新2030“新一代人工智能”、北京冬奧會(huì)等數(shù)十個(gè)國家級重大項(xiàng)目的檢驗(yàn)，融媒體領(lǐng)域豐富的研究實(shí)踐經(jīng)驗(yàn)和高層次的技術(shù)水平為中科聞歌的智慧中臺(tái)解決方案提供了有力保障。

　　此次智慧中臺(tái)項(xiàng)目由新華社和中科聞歌聯(lián)合孵化，組建了研發(fā)團(tuán)隊(duì)、算法團(tuán)隊(duì)、CV團(tuán)隊(duì)、研究團(tuán)隊(duì)、用戶團(tuán)隊(duì)以及產(chǎn)品團(tuán)隊(duì)，共同研究各類中臺(tái)和擴(kuò)展性應(yīng)用的定位和目標(biāo)市場，面向媒體行業(yè)輸出一套智能全媒體信息創(chuàng)新思路，提供基于主流媒體算法相關(guān)的包含政策、資訊、運(yùn)營等在內(nèi)的定制化服務(wù)。

　　項(xiàng)目雙方在方法論、標(biāo)準(zhǔn)體系、組織機(jī)制、運(yùn)營體系、評價(jià)體系、技術(shù)平臺(tái)和產(chǎn)品工具幾方面持續(xù)研究，推動(dòng)新型全媒體機(jī)構(gòu)數(shù)字化轉(zhuǎn)型能力提升的中臺(tái)戰(zhàn)略性工程，形成了“2服務(wù)6中臺(tái)”建設(shè)模式：

　　智慧中臺(tái)解決方案統(tǒng)籌新華社全量媒體資源

　　此次新華社和中科聞歌搭建的智慧中臺(tái)，基于中科聞歌自研”天湖“數(shù)據(jù)智算平臺(tái)的數(shù)據(jù)處理能力，可以統(tǒng)籌超3億條文字、圖片、視頻形式的內(nèi)容以及100余種算法資源，中臺(tái)存儲(chǔ)超過2.5PB媒體數(shù)據(jù)，涵蓋了60余個(gè)媒體場景，支撐了媒體融合生產(chǎn)、傳播、運(yùn)營、數(shù)字化報(bào)道工作室、算法大賽、多模態(tài)知識(shí)搜索、領(lǐng)域知識(shí)體系建設(shè)等創(chuàng)新應(yīng)用，進(jìn)一步實(shí)現(xiàn)了以下價(jià)值成果：

　　1）實(shí)現(xiàn)了新華社內(nèi)資源開放互通：通過智慧中臺(tái)充分調(diào)動(dòng)了新華社各部門專業(yè)人才、內(nèi)容生產(chǎn)、行業(yè)研究、領(lǐng)域調(diào)研、行業(yè)合作資源間的協(xié)同配合與高效復(fù)用；

　　2）搭建了各領(lǐng)域完善的知識(shí)體系：通過智慧中臺(tái)研究推進(jìn)了知識(shí)融合方法、標(biāo)準(zhǔn)、工具和機(jī)制，不斷吸納融合構(gòu)建通用知識(shí)和領(lǐng)域知識(shí)，通過媒體大數(shù)據(jù)與多源異構(gòu)數(shù)據(jù)的萃取、分析與知識(shí)處理算法與技術(shù)，沉淀了如人物知識(shí)、事件知識(shí)、核心報(bào)道知識(shí)、政策法規(guī)知識(shí)、內(nèi)容安全知識(shí)等，作為數(shù)字化轉(zhuǎn)型和數(shù)據(jù)業(yè)務(wù)化、業(yè)務(wù)數(shù)據(jù)化的基礎(chǔ)，充分發(fā)揮數(shù)據(jù)要素化、數(shù)據(jù)資產(chǎn)化對創(chuàng)新生產(chǎn)方式、傳播形式、產(chǎn)品形態(tài)、服務(wù)樣態(tài)的作用；

　　3）構(gòu)建了新華社內(nèi)外多方創(chuàng)新協(xié)同機(jī)制：圍繞用戶和場景衍生服務(wù)，通過智慧中臺(tái)構(gòu)建產(chǎn)品服務(wù)創(chuàng)新的孵化機(jī)制，創(chuàng)新構(gòu)建全媒體產(chǎn)業(yè)鏈價(jià)值評估、流通和分配機(jī)制，促進(jìn)全員媒體、全程媒體、全息媒體、全效媒體有效協(xié)同，圍繞用戶和場景推進(jìn)“新聞+政務(wù)服務(wù)商務(wù)”創(chuàng)新產(chǎn)品和服務(wù)模式試點(diǎn)。

　　在媒體領(lǐng)域、大數(shù)據(jù)領(lǐng)域、人工智能領(lǐng)域的技術(shù)和人才積累是智慧中臺(tái)建設(shè)的有力支撐，是建成、建好此次融媒體智慧中臺(tái)的核心要素。基于中科聞歌融媒體領(lǐng)域的成熟產(chǎn)品體系，“天湖”數(shù)據(jù)智算平臺(tái)支撐了整個(gè)智慧中臺(tái)各類數(shù)據(jù)的匯聚、處理，知識(shí)圖譜、數(shù)據(jù)標(biāo)注等成熟的AI產(chǎn)品為知識(shí)加工提供了智能、快速的技術(shù)平臺(tái)；媒體、國際關(guān)系、人工智能等領(lǐng)域?qū)＜覍χ腔壑信_(tái)的領(lǐng)域知識(shí)數(shù)據(jù)進(jìn)行收集、梳理、歸類，形成領(lǐng)域知識(shí)體系，為中臺(tái)的業(yè)務(wù)化、智能化運(yùn)行提供了知識(shí)體系保障。

　　7.2.3營銷領(lǐng)域可應(yīng)用大數(shù)據(jù)技術(shù)覆蓋消費(fèi)者市場動(dòng)態(tài)，為產(chǎn)品營銷決策高效賦能

　　在產(chǎn)品營銷業(yè)務(wù)過程中，可運(yùn)用大數(shù)據(jù)技術(shù)和科學(xué)算法，廣發(fā)收集和分析線上社交媒體平臺(tái)和電商平臺(tái)的用戶數(shù)據(jù)，迅速捕捉市場趨勢和消費(fèi)者需求，挖掘潛力趨勢，輔助產(chǎn)品營銷決策。

　　案例10：安利（中國）研發(fā)中心打造智能營銷產(chǎn)品創(chuàng)新平臺(tái)，實(shí)現(xiàn)產(chǎn)品創(chuàng)新亮點(diǎn)挖掘

　　安利（中國）研發(fā)中心成立于2004年12月，是安利全球研發(fā)部門的重要組成部分。安利全球研發(fā)團(tuán)隊(duì)在全球健康領(lǐng)域擁有超過50年的領(lǐng)導(dǎo)者地位，中國研發(fā)基地主要負(fù)責(zé)新概念研究、毒理研究、配方設(shè)計(jì)、產(chǎn)品功效驗(yàn)證、臨床試驗(yàn)、消費(fèi)者洞察等。多學(xué)科多交叉點(diǎn)的結(jié)構(gòu)以及與全球產(chǎn)品團(tuán)隊(duì)合作的氛圍，讓安利（中國）研發(fā)中心的研發(fā)力量在業(yè)內(nèi)名列前茅。

　　消費(fèi)者反饋評價(jià)和市場熱點(diǎn)趨勢都是各類型消費(fèi)品研發(fā)過程中的重要參考因素。安利（中國）研發(fā)中心以往通過消費(fèi)者調(diào)研、桌面分析以及專家意見等調(diào)研方式了解用戶評價(jià)和市場關(guān)注點(diǎn)，這樣的傳統(tǒng)調(diào)研方式存在調(diào)研結(jié)果紛繁復(fù)雜、調(diào)研周期長、投入資金成本和人力成本高等諸多痛點(diǎn)。

　　基于內(nèi)部分析討論和綜合判斷，安利（中國）研發(fā)中心期望通過運(yùn)用更高效更系統(tǒng)的大數(shù)據(jù)手段了解消費(fèi)者市場，協(xié)助安利深入了解當(dāng)下消費(fèi)者使用保健食品時(shí)關(guān)注的具體功效和原料成分等概念元素，降低創(chuàng)新戰(zhàn)略階段的調(diào)研成本，為產(chǎn)品研發(fā)創(chuàng)新高效賦能。安利（中國）研發(fā)中心認(rèn)為，基于大數(shù)據(jù)的產(chǎn)品創(chuàng)新解決方案需要具備以下條件：

　　1）解決方案可以借助大數(shù)據(jù)能力，運(yùn)用科學(xué)算法，全面迅速捕捉市場趨勢和消費(fèi)者需求，自動(dòng)發(fā)掘新興潛力趨勢，為研發(fā)人員提供更多創(chuàng)新靈感。

　　2）其次，解決方案可以通過對社媒、電商等數(shù)據(jù)的廣泛收集和分析，深度挖掘具備潛力的產(chǎn)品創(chuàng)新機(jī)會(huì)在市場中的綜合情況，輔助決策下一步行動(dòng)。

　　3）最后，通過此次項(xiàng)目可以總結(jié)出科學(xué)可行的產(chǎn)品創(chuàng)新研究方法論和研究體系，以支持后續(xù)產(chǎn)品創(chuàng)新研發(fā)過程。

　　基于以上考慮因素，安利（中國）研發(fā)中心最終選擇與數(shù)說故事共同搭建智能營銷產(chǎn)品創(chuàng)新平臺(tái)。

　　數(shù)說故事成立于2015年，員工800+人，60%+為大數(shù)據(jù)和AI研發(fā)團(tuán)隊(duì)，在“認(rèn)知AI”領(lǐng)域占據(jù)領(lǐng)先地位。公司構(gòu)建了從數(shù)據(jù)收集、處理、分析、建模到商業(yè)應(yīng)用的全價(jià)值鏈解決方案，完整覆蓋產(chǎn)品創(chuàng)新、品牌營銷、內(nèi)容營銷、渠道銷售、用戶運(yùn)營、風(fēng)險(xiǎn)預(yù)警、投資顧問等豐富的商業(yè)場景，幫助10+行業(yè)的500+頭部企業(yè)完成營銷數(shù)字化轉(zhuǎn)型。

　　安利智能營銷產(chǎn)品創(chuàng)新平臺(tái)，精準(zhǔn)匹配產(chǎn)品創(chuàng)新趨勢洞察需求

　　數(shù)說故事憑借對安利（中國）研發(fā)中心工作內(nèi)容的深入了解和訴求解讀，設(shè)計(jì)了在產(chǎn)品研發(fā)階段可以高效洞察市場趨勢和創(chuàng)新點(diǎn)的解決方案，該解決方案主要運(yùn)用了自有產(chǎn)品數(shù)說雷達(dá)進(jìn)行智能營銷產(chǎn)品創(chuàng)新系統(tǒng)的構(gòu)建，主要包括創(chuàng)新趨勢發(fā)現(xiàn)和創(chuàng)新趨勢研究兩個(gè)業(yè)務(wù)方向：

　　圖26：安利智能營銷產(chǎn)品創(chuàng)新平臺(tái)架構(gòu)

　　創(chuàng)新趨勢發(fā)現(xiàn)主要由趨勢榜單來體現(xiàn)，通過對品類、趨勢類型和推薦指數(shù)的判斷和篩選進(jìn)一步形成趨勢榜單，趨勢榜單由上升指數(shù)、熱度指數(shù)、萌芽榜單等模塊組成。

　　創(chuàng)新趨勢研究方向下主要實(shí)現(xiàn)趨勢洞察功能，通過對榜單維度的進(jìn)一步篩選，形成了趨勢概覽（社交媒體聲量趨勢、店鋪SKU分布、情感分布、產(chǎn)品趨勢、同類品牌對比等）、人群和場景洞察（性別、年齡、地域、時(shí)間等）以及使用反饋（滿意度表現(xiàn)、情感表現(xiàn)、正負(fù)向詞云）發(fā)現(xiàn)產(chǎn)品創(chuàng)新趨勢及熱點(diǎn)。

　　安利智能營銷產(chǎn)品創(chuàng)新系統(tǒng)的工作路徑具體分為6個(gè)步驟：

　　第一步，數(shù)據(jù)構(gòu)建。通過社媒（微博、微信、新聞、論壇、小紅書、抖音等）和電商（天貓、京東）等公開渠道和合作渠道，大范圍持續(xù)收集產(chǎn)品原料、功效、銷量、用戶反饋等維度的實(shí)時(shí)合規(guī)數(shù)據(jù)，為概念識(shí)別、分類、挖掘、分析打造良好的數(shù)據(jù)基礎(chǔ)。

　　第二步，概念識(shí)別。安利智能營銷產(chǎn)品創(chuàng)新系統(tǒng)在落地前憑借過往數(shù)據(jù)構(gòu)建了行業(yè)庫，行業(yè)庫內(nèi)實(shí)現(xiàn)各層級模塊細(xì)分，例如蛋白類下有植物蛋白模塊和動(dòng)物蛋白模塊，運(yùn)用概念識(shí)別模型根據(jù)安利（中國）研發(fā)中心需要的植物蛋白成分類別剔除非核心的動(dòng)物蛋白概念數(shù)據(jù)。接著運(yùn)用關(guān)系識(shí)別算法，對數(shù)據(jù)進(jìn)行二次采集和篩選，盡可能的保留植物蛋白相關(guān)實(shí)時(shí)數(shù)據(jù)。然后通過訓(xùn)練趨勢識(shí)別算法判斷產(chǎn)品成分、功效的熱門程度，在原料、成分、功效、科技、工藝等偏產(chǎn)品研發(fā)創(chuàng)新的維度進(jìn)行概念升級和處理。

　　第三步，概念分類。通過算法模型對已經(jīng)識(shí)別出的維度進(jìn)行分類，幫助產(chǎn)品研發(fā)中心快速識(shí)別當(dāng)下植物類產(chǎn)品的熱門話題維度和創(chuàng)新維度。

　　第四步，概念挖掘。通過算法模型實(shí)現(xiàn)概念挖掘，參考權(quán)威機(jī)構(gòu)和企業(yè)發(fā)布的產(chǎn)品榜單或正在討論的創(chuàng)新產(chǎn)品原料、成分、功效概念。

　　第五步，概念分析。深度分析社媒、電商平臺(tái)里消費(fèi)者反饋的當(dāng)前趨勢，包括各類型植物類產(chǎn)品的銷量和使用效果評價(jià)，綜合消費(fèi)者偏好及關(guān)注點(diǎn)，運(yùn)用口碑評估體系評估產(chǎn)品成分及功效，從而給予安利（中國）研發(fā)中心產(chǎn)品原料、成分、功效的前期評估參考。

　　第六步，知識(shí)積累。智能營銷產(chǎn)品創(chuàng)新系統(tǒng)識(shí)別出當(dāng)下產(chǎn)品的市場趨勢后，運(yùn)用知識(shí)圖譜技術(shù)持續(xù)形成行業(yè)底層知識(shí)積累，知識(shí)圖譜會(huì)隨著產(chǎn)品熱點(diǎn)和創(chuàng)新點(diǎn)的出現(xiàn)持續(xù)更新，以便研發(fā)人員或?qū)彶槿搜芯咳藛T在瀏覽產(chǎn)品知識(shí)或信息時(shí)能夠快速擴(kuò)展其他知識(shí)類別，為產(chǎn)品創(chuàng)新提供更多靈感來源。

　　以上6個(gè)步驟實(shí)現(xiàn)智能營銷產(chǎn)品創(chuàng)新系統(tǒng)的協(xié)助工作，為安利（中國）研發(fā)中心產(chǎn)品研發(fā)創(chuàng)新高效賦能。

　　安利智能營銷產(chǎn)品創(chuàng)新系統(tǒng)讓產(chǎn)品研發(fā)前期調(diào)研覆蓋更廣、效率更高

　　安利（中國）研發(fā)中心與數(shù)說故事共建的智能營銷產(chǎn)品創(chuàng)新解決方案覆蓋數(shù)據(jù)范圍廣泛、維度多樣，有效降低調(diào)研階段人工投入成本，并為創(chuàng)意戰(zhàn)略階段持續(xù)賦能。

　　1）智能營銷產(chǎn)品創(chuàng)新解決方案采集到的數(shù)據(jù)覆蓋范圍廣泛、維度多樣，在遍及用戶生活的社交媒體和眾多電商平臺(tái)上實(shí)時(shí)采集產(chǎn)品原料、成分、功效、銷量等維度評價(jià)，前期調(diào)研的廣度和速度得到優(yōu)化。

　　2）智能營銷產(chǎn)品創(chuàng)新系統(tǒng)可釋放大量人力價(jià)值，免除低效人工識(shí)別工作。產(chǎn)品研發(fā)支持系統(tǒng)實(shí)現(xiàn)了超過85%的實(shí)體識(shí)別準(zhǔn)確率，免除了大量人工挑選的低效工作，實(shí)體識(shí)別算法還可隨市場發(fā)展實(shí)時(shí)優(yōu)化，持續(xù)發(fā)現(xiàn)和挖掘產(chǎn)品熱點(diǎn)。通過算法自動(dòng)識(shí)別新詞，從而發(fā)現(xiàn)產(chǎn)品研發(fā)創(chuàng)新方面的未來趨勢。

　　3）智能營銷產(chǎn)品創(chuàng)新解決方案可為產(chǎn)品創(chuàng)新提供衍生知識(shí)參考，產(chǎn)品研發(fā)支持系統(tǒng)可為核心概念持續(xù)鏈接衍生知識(shí)，進(jìn)而形成網(wǎng)狀結(jié)構(gòu)的知識(shí)圖譜，提高了知識(shí)的關(guān)聯(lián)探索能力，在前期創(chuàng)意戰(zhàn)略階段，為實(shí)現(xiàn)要素重組提供豐富的靈感。

　　強(qiáng)有力的大數(shù)據(jù)技術(shù)+科學(xué)可行的研究方法論+精準(zhǔn)的項(xiàng)目訴求解讀=成功的智能營銷產(chǎn)品創(chuàng)新解決方案

　　此次安利智能營銷產(chǎn)品創(chuàng)新項(xiàng)目的成功是建立在扎實(shí)的數(shù)據(jù)能力、科學(xué)可行的研究方法論和精準(zhǔn)的項(xiàng)目訴求解讀基礎(chǔ)上的。

　　在大數(shù)據(jù)技術(shù)層面，數(shù)說故事提供的產(chǎn)品基礎(chǔ)數(shù)據(jù)能力扎實(shí)，數(shù)據(jù)采集能力和算法能力優(yōu)勢明顯，能夠?yàn)楫a(chǎn)品創(chuàng)新研發(fā)系統(tǒng)提供持續(xù)穩(wěn)定的信息采集技術(shù)。

　　在產(chǎn)品創(chuàng)新研究方法論層面，此前合作的植物原料研究思路和此次產(chǎn)品創(chuàng)新解決方案思路一致，安利（中國）研發(fā)中心和數(shù)說故事探討出研究方法論科學(xué)可行，只需將一次性的研究報(bào)告進(jìn)一步升級成實(shí)時(shí)可用的智能營銷產(chǎn)品創(chuàng)新系統(tǒng)，可為安利（中國）研發(fā)中心全線產(chǎn)品提供更全面更廣泛的研究支持。

　　在項(xiàng)目訴求解讀方面，安利（中國）研發(fā)中心在過往研究項(xiàng)目中與數(shù)說故事建立了良好合作關(guān)系，熟悉了彼此的工作風(fēng)格及具體訴求，讓安利對數(shù)說故事建立了較高的認(rèn)可度，有效降低了此次項(xiàng)目的前期溝通成本。

　　7.2.4醫(yī)療大數(shù)據(jù)技術(shù)有效支持醫(yī)學(xué)研究、健康決策

　　在醫(yī)療領(lǐng)域，可運(yùn)用人工智能影像技術(shù)和醫(yī)療大數(shù)據(jù)管理技術(shù)輔助癌癥篩查工作，覆蓋更多篩查人群，提高癌癥篩查效率，降低人工篩查成本。醫(yī)療大數(shù)據(jù)管理技術(shù)有效幫助相關(guān)部門實(shí)現(xiàn)數(shù)據(jù)管理，數(shù)據(jù)互通共享，輔助實(shí)現(xiàn)健康決策，同時(shí)為后續(xù)的醫(yī)學(xué)大數(shù)據(jù)研究打下堅(jiān)實(shí)的基礎(chǔ)。

　　案例11：“AI健康地圖”助力構(gòu)建浙江省癌癥篩查信息平臺(tái)

　　浙江省腫瘤防治辦公室從屬浙江省腫瘤醫(yī)院，浙江省腫瘤醫(yī)院始建于1963年，是新中國成立最早的四所腫瘤醫(yī)院之一，是中國科學(xué)院首個(gè)以腫瘤醫(yī)學(xué)為主要研究方向的專業(yè)研究機(jī)構(gòu)，集腫瘤預(yù)防、醫(yī)療、科研、教學(xué)、康復(fù)于一體，承擔(dān)著國家腫瘤防治重任，在全國的腫瘤防治工作中發(fā)揮著龍頭作用。

　　2016年中共中央及國務(wù)院印發(fā)了《“健康中國2030”規(guī)劃綱要》，明確指出對慢性病實(shí)施綜合防控戰(zhàn)略：“強(qiáng)化慢性病篩查和早期發(fā)現(xiàn)，針對高發(fā)地區(qū)重點(diǎn)癌癥開展早診早治工作，推動(dòng)癌癥、腦卒中等慢性病的機(jī)會(huì)性篩查?；緦?shí)現(xiàn)高血壓、糖尿病患者管理干預(yù)全覆蓋，逐步將符合條件的癌癥、腦卒中等重大慢性病早診早治適宜技術(shù)納入診療常規(guī)。到2030年，實(shí)現(xiàn)全人群、全生命周期的慢性病健康管理，總體癌癥5年生存率提高15%?！?br />
　　浙江省腫瘤防治辦公室和疾控中心為響應(yīng)《“健康中國2030”規(guī)劃綱要》“全民健康共建共享”的戰(zhàn)略目標(biāo)，計(jì)劃通過早篩查、早診斷、早治療惡性疾病的方式來降低人群疾病負(fù)擔(dān)。然而傳統(tǒng)人工篩查癌癥方式存在眾多痛點(diǎn)：傳統(tǒng)篩查方式依賴人工填寫各類文書，篩查效率低，工作人員篩查成本較高；癌癥篩查涉及的人群數(shù)量龐大，數(shù)據(jù)管理難度較大；從事腫瘤防治的一線工作人員缺乏專業(yè)的篩查系統(tǒng)等。

　　基于以上考慮，浙江省腫瘤防治辦公室尋求人工智能影像和醫(yī)療大數(shù)據(jù)管理技術(shù)輔助進(jìn)行早期癌癥篩查工作，通過可行性研究和對技術(shù)方案的評選，最終選擇了深睿醫(yī)療作為合作伙伴。

　　深睿醫(yī)療深耕智慧醫(yī)療領(lǐng)域，致力于通過人工智能“深度學(xué)習(xí)”技術(shù)及自主研發(fā)的核心算法為國內(nèi)外醫(yī)療機(jī)構(gòu)提供人工智能和互聯(lián)網(wǎng)醫(yī)療解決方案。其研究院國內(nèi)外學(xué)術(shù)領(lǐng)域成果突出，累計(jì)影響因子超1200，獲得了700多個(gè)專利及軟著，顱內(nèi)動(dòng)脈瘤自動(dòng)化分割與檢測方向的科研成果被NatureCommunications（IF17.694）收錄。深睿醫(yī)療牽頭參與了7項(xiàng)科技部重點(diǎn)研發(fā)計(jì)劃，9項(xiàng)國家自然科學(xué)基金，30多個(gè)省市級科研項(xiàng)目，2021年深睿醫(yī)療與國內(nèi)多家知名醫(yī)療機(jī)構(gòu)聯(lián)合申報(bào)成功4個(gè)國家自然項(xiàng)目。今年，深睿醫(yī)療牽頭或參與的6個(gè)項(xiàng)目上榜工業(yè)和信息化部和國家藥品監(jiān)督管理局公示的人工智能醫(yī)療器械創(chuàng)新任務(wù)揭榜單位名單

　　“AI健康地圖”推動(dòng)腫瘤篩查工作流程完善、篩查信息統(tǒng)一管理

　　“AI健康地圖”推動(dòng)腫瘤篩查工作流程重塑。為響應(yīng)浙江省數(shù)字化改革的號召，浙江省腫瘤防治辦公室在2020年開始著手腫瘤篩查平臺(tái)的打造，并對腫瘤篩查業(yè)務(wù)流程進(jìn)行重塑，包括風(fēng)險(xiǎn)人群入組、評估/初篩、精準(zhǔn)篩查、隨訪等完整的篩查流程，并超前考慮到所有與腫瘤防治相關(guān)的所有參與單位，包括政府主管部門、各地腫瘤防辦、定點(diǎn)醫(yī)院、社區(qū)醫(yī)院。

　　“AI健康地圖”實(shí)現(xiàn)全省腫瘤篩查一盤棋。目前浙江省腫瘤篩查平臺(tái)已接入了130個(gè)管理機(jī)構(gòu)、292個(gè)篩查機(jī)構(gòu)、1423個(gè)招募機(jī)構(gòu)（超90%的浙江省社區(qū)醫(yī)院），形成了一套組織嚴(yán)密的腫瘤篩查網(wǎng)絡(luò)，可以持續(xù)開展不同腫瘤的大規(guī)模篩查。

　　浙江省腫瘤篩查平臺(tái)包括3類終端（醫(yī)生電腦端/醫(yī)生移動(dòng)端/居民移動(dòng)端）、30個(gè)高頻應(yīng)用（包括受試者招募、篩查項(xiàng)目預(yù)約、腫瘤篩查、隨訪等篩查全鏈路環(huán)節(jié)的一體化服務(wù)功能）、N個(gè)腫瘤篩查模塊（結(jié)直腸癌篩查/肺癌篩查/上消化道癌篩查）

　　浙江省腫瘤篩查平臺(tái)的功能模塊有系統(tǒng)管理（機(jī)構(gòu)管理/用戶和權(quán)限管理/登錄管理/行政區(qū)劃管理/系統(tǒng)幫助）、任務(wù)管理（公告管理/待辦事項(xiàng)管理/任務(wù)管理）、受試者管理（受試者信息總覽/受試者查詢/受試者信息導(dǎo)出）、目標(biāo)人群管理（新增目標(biāo)人員/修改目標(biāo)人員/導(dǎo)入目標(biāo)人群）、評估管理（評估資格審核/知情同意書管理/問卷管理/評估結(jié)果展示）、檢驗(yàn)管理（檢驗(yàn)耗材管理/檢驗(yàn)結(jié)果錄入/檢驗(yàn)狀態(tài)追蹤）、預(yù)約管理（檢查預(yù)約/簽到管理/動(dòng)員管理/放號管理）、篩查管理（篩查結(jié)果錄入/篩查結(jié)果查詢/篩查狀態(tài)追蹤/AI影像輔助診斷）、隨訪管理（隨訪錄入/隨訪提醒/隨訪結(jié)果管理/隨訪查詢）、數(shù)據(jù)管理（數(shù)據(jù)駕駛艙/業(yè)務(wù)指標(biāo)統(tǒng)計(jì)/數(shù)據(jù)使用管理/數(shù)據(jù)導(dǎo)出）等30個(gè)應(yīng)用模塊。

　　憑借“AI健康地圖”，浙江省腫瘤篩查工作實(shí)現(xiàn)效率躍升

　　AI健康地圖”可篩查不同病變階段的患者，有效節(jié)約醫(yī)藥費(fèi)用。截止到浙江重點(diǎn)人群結(jié)直腸癌篩查項(xiàng)目累計(jì)完成風(fēng)險(xiǎn)評估和便潛血檢查（FIT）4，58余萬人，結(jié)腸鏡檢查近30萬例，篩查出結(jié)直腸癌3，110人，進(jìn)展期腺瘤31，947人，非進(jìn)展期腺瘤57，306人。通過信息平臺(tái)及早救治了1000多名患者，節(jié)省群眾的醫(yī)藥費(fèi)用、減輕群眾的負(fù)擔(dān)，為醫(yī)保節(jié)約費(fèi)用28億多元。

　　“AI健康地圖”可對潛在癌癥人群進(jìn)行提示和預(yù)警。篩查項(xiàng)目在實(shí)現(xiàn)了結(jié)直腸癌的早期診斷，還對處于“早早期”的結(jié)直腸癌進(jìn)行了提示和預(yù)警，臨床的提前干預(yù)直接將癌癥扼殺在萌芽之中。截止目前浙江省重點(diǎn)人群結(jié)直腸癌篩查項(xiàng)目累計(jì)完成風(fēng)險(xiǎn)評估和便潛血檢查（FIT）近460萬人，篩查出結(jié)直腸癌3，110人及近９萬處于早期病變不同階段的患者。

　　“AI健康地圖”可促進(jìn)癌癥篩查和早診早治一體化及標(biāo)準(zhǔn)化。癌癥篩查信息平臺(tái)通過實(shí)現(xiàn)省域內(nèi)信息統(tǒng)一接入與管理，使篩查數(shù)據(jù)實(shí)現(xiàn)高效質(zhì)控、互聯(lián)互通及便捷共享，為浙江省后續(xù)癌種、區(qū)域的拓展及醫(yī)學(xué)大數(shù)據(jù)研究打下堅(jiān)實(shí)的基礎(chǔ)。

　　“AI健康地圖”可賦能疾病預(yù)防控制和健康決策。癌癥篩查信息平臺(tái)內(nèi)沉淀了大量的區(qū)域癌癥篩查數(shù)據(jù)，可通過人工智能技術(shù)對醫(yī)療大數(shù)據(jù)進(jìn)行治理及智能分析，最終賦能疾控和健康決策。

　　通過“AI健康地圖”腫瘤防治工作實(shí)現(xiàn)了模式創(chuàng)新、技術(shù)創(chuàng)新和場景創(chuàng)新

　　此次癌癥篩查平臺(tái)搭建過程中實(shí)現(xiàn)了產(chǎn)學(xué)研用相結(jié)合，創(chuàng)新性地應(yīng)用了人工智能技術(shù)，提高了居民癌癥篩查參與率，實(shí)現(xiàn)了疾病診斷關(guān)口前移，在腫瘤防治工作層面實(shí)現(xiàn)了模式創(chuàng)新、技術(shù)創(chuàng)新和場景創(chuàng)新。

　　1）模式創(chuàng)新：實(shí)現(xiàn)篩查業(yè)務(wù)數(shù)字化流轉(zhuǎn)，減少工作人員從的重復(fù)工作，加速項(xiàng)目推進(jìn)，提升篩查信息管理效率；腫瘤篩查遵循浙江省統(tǒng)一的篩查技術(shù)方案，實(shí)現(xiàn)從省級到地市到區(qū)縣的統(tǒng)一，擁有一致的工作流程和標(biāo)準(zhǔn)規(guī)則；針對不同腫瘤篩查設(shè)計(jì)專門的統(tǒng)計(jì)指標(biāo)，通過對比分析各類指標(biāo)在全省各篩查單位的差異程度，可幫助管理機(jī)構(gòu)及時(shí)指導(dǎo)篩查機(jī)構(gòu)進(jìn)行整改，有效保證各癌種的篩查質(zhì)量。

　　2）技術(shù)創(chuàng)新：充分運(yùn)用5G、云計(jì)算、AI等先進(jìn)的新興技術(shù)，構(gòu)建全省乃至全國獨(dú)樹一幟的智能腫瘤篩查云，可以支撐全省不斷開展各種不同腫瘤的大規(guī)模人群篩查；采用AI與云計(jì)算結(jié)合的技術(shù)，居民做完檢查后影像可自動(dòng)轉(zhuǎn)發(fā)至云端，并通過影像AI技術(shù)自動(dòng)計(jì)算篩查結(jié)果，篩查準(zhǔn)確性相當(dāng)于中高年資醫(yī)生水平。AI分析結(jié)果按篩查要求自動(dòng)回填醫(yī)生診斷所需填寫的字段內(nèi)容，極大節(jié)省篩查診斷醫(yī)生的閱片錄入數(shù)據(jù)的工作量。

　　3）場景創(chuàng)新：創(chuàng)新應(yīng)用醫(yī)生移動(dòng)端篩查，方便醫(yī)務(wù)工作者在人民群眾家門口開展腫瘤篩查工作。靈活支持高風(fēng)險(xiǎn)人群在日常就醫(yī)過程中隨時(shí)參與腫瘤機(jī)會(huì)性篩查，進(jìn)一步拓寬腫瘤篩查渠道，增強(qiáng)腫瘤篩查的人群覆蓋面。對于重點(diǎn)風(fēng)險(xiǎn)人群及家屬，支持線上參與腫瘤篩查，廣泛提升居民對腫瘤防治的知曉率和參與度。

　　8.展望

　　當(dāng)前，出于政策合規(guī)、采購習(xí)慣和認(rèn)知等方面的原因，中國企業(yè)尤其是中大型企業(yè)對于公有云的采納進(jìn)展仍處于早期，但基礎(chǔ)設(shè)施上云的趨勢仍在穩(wěn)步推進(jìn)。未來，隨著基礎(chǔ)設(shè)施上云，基于云上的數(shù)據(jù)分析和應(yīng)用，以及跨組織、跨區(qū)域的數(shù)據(jù)共享和消費(fèi)是值得關(guān)注的趨勢。

　　同時(shí)，隨著區(qū)塊鏈、隱私計(jì)算等技術(shù)的滲透，政策對于數(shù)據(jù)要素流通的倡導(dǎo)，以及數(shù)據(jù)資產(chǎn)定價(jià)機(jī)制的探索，相關(guān)基礎(chǔ)設(shè)施將逐步走向成熟，為數(shù)據(jù)要素的高效流通和應(yīng)用、釋放更大的價(jià)值帶來可能