NEWS
新聞動態
|
AI 浪潮下,企業如何打造數據中臺核心競爭力?AI 浪潮下(xia),企業如何(he)打造數據(ju)中臺核(he)心競爭力?
過去幾(ji)年,“數(shu)據中臺”一度成為企(qi)業數字(zi)化的標配工程(cheng)。幾乎每一家(jia)要轉(zhuan)型的大型企業,都在PPT里(li)畫(hua)過那張熟悉的中臺全景圖:數倉(cang)、指標、服務、治理一應俱全,看上(shang)去“很(hen)高(gao)級”。 但現實往(wang)往(wang)沒那么理(li)想(xiang)。中臺(tai)搭起來(lai)了,數據接進來(lai)了,報表(biao)做出(chu)來(lai)了——業(ye)務卻(que)沒變聰明,模型用不(bu)上,策略(lve)跑不(bu)動,結果成了“數(shu)據孤島2.0”。 錢花了,系統(tong)搭(da)了,數據也接進來(lai)了,但業務好像……并沒有更(geng)聰明。 在一篇(pian)中(zhong)臺討論帖中(zhong),不(bu)少(shao)網友這樣評(ping)論:
這不是個例,而是大量企業中臺落地失敗(bai)的真實寫照。 中臺的問題(ti),不在“有沒有系統”,而(er)在“無法真正用起來(lai)”。數據中臺(tai)不該只是封閉的“為(wei)人建(jian)表”,而(er)要(yao)逐步演進為(wei)“AI調用、策略落地”的智能平臺(tai)。 從“讓(rang)人看懂數據”到“讓(rang)AI用(yong)得起(qi)數據”,才是AI時代中臺力的真正躍遷。
數據中臺的支撐技術 “數據(ju)中(zhong)臺”一詞在國內最早出現在2015年,由(you)阿里巴(ba)巴(ba)在其“大中(zhong)臺、小前(qian)臺”戰略(lve)轉型(xing)中(zhong)提(ti)出并推廣。作(zuo)為提(ti)升企業效率、打破數據(ju)孤(gu)島、支撐智能化轉型(xing)的(de)核心基(ji)礎設施,數據(ju)中(zhong)臺的(de)本質理念是: 將(jiang)數據能力做成可復用的服(fu)務,供不(bu)同業務線靈活高效調用,從(cong)而降低重復建(jian)設(she)成本(ben),提升(sheng)全局決策效率(lv)。 數(shu)(shu)據中臺是(shi)企業(ye)構建的標準(zhun)的、安全(quan)的、統(tong)一的、共享的數(shu)(shu)據組織,通過數(shu)(shu)據服(fu)務化(hua)的方式(shi)支撐前端數(shu)(shu)據應(ying)用(yong)。 數(shu)(shu)據(ju)(ju)(ju)(ju)中臺不(bu)僅(jin)僅(jin)是(shi)技術,也不(bu)僅(jin)僅(jin)是(shi)產(chan)品(pin),而是(shi)一套完(wan)整的(de)讓數(shu)(shu)據(ju)(ju)(ju)(ju)用起(qi)來的(de)機制。需要從企(qi)業(ye)戰(zhan)略、組織(zhi)、人才等方(fang)面全方(fang)位規劃和(he)配合,不(bu)能僅(jin)僅(jin)停(ting)留在(zai)工具和(he)產(chan)品(pin)層面。每家企(qi)業(ye)的(de)業(ye)務與數(shu)(shu)據(ju)(ju)(ju)(ju)狀況各(ge)不(bu)相同(tong)(tong),業(ye)務對數(shu)(shu)據(ju)(ju)(ju)(ju)服(fu)務的(de)訴(su)求(qiu)不(bu)同(tong)(tong),數(shu)(shu)據(ju)(ju)(ju)(ju)中臺的(de)建設將呈現出不(bu)同(tong)(tong)的(de)特點(dian),沒有任何兩家企(qi)業(ye)的(de)數(shu)(shu)據(ju)(ju)(ju)(ju)中臺是(shi)完(wan)全相同(tong)(tong)的(de)。 數據(ju)中臺必備的四個核心能力: 1. 數據(ju)匯聚整合:實現數據(ju)采集、交(jiao)換等(deng)任務配置以及監(jian)控管理 2. 數據提純(chun)加工(gong):通過(guo)統一(yi)的(de)數據標(biao)準(zhun)和質量體(ti)系(xi),建設(she)提純(chun)加工(gong)后(hou)的(de)標(biao)準(zhun)數據資產體(ti)系(xi) 3. 數據(ju)服(fu)務可視化:讓(rang)相關人員能(neng)夠迅速(su)開發數據(ju)應用(yong),支持數據(ju)資產場景化能(neng)力的(de)快速(su)輸出(chu),響(xiang)應客(ke)戶的(de)動(dong)態需求(qiu) 4. 數據價值(zhi)變現:打通企業數據,提(ti)供以(yi)前單(dan)個部(bu)門(men)或(huo)者單(dan)個業務(wu)單(dan)元(yuan)無法提(ti)供的數據服務(wu)能力(li)
圖片(pian)展示的是一套(tao)典型的企業(ye)級數據中臺(tai)架構(gou)圖,整體結構(gou)分層(ceng)清晰、模(mo)塊完整,體現了一個企業(ye)如何(he)從底(di)層(ceng)算力支撐(cheng),到中間(jian)層(ceng)數據治理(li)與開發,再(zai)到上層(ceng)數據服(fu)務(wu)與業(ye)務(wu)應用,構(gou)建(jian)起一整套(tao)“數(shu)(shu)據能力運營(ying)體系(xi)”。可(ke)分為底層(ceng)(ceng)支撐、系(xi)統支撐層(ceng)(ceng)、數(shu)(shu)據開(kai)發中(zhong)心、數(shu)(shu)據服務層(ceng)(ceng)、上層(ceng)(ceng)業(ye)務應用層(ceng)(ceng)、數(shu)(shu)據治理(li)中(zhong)心六大模塊(kuai)。 數(shu)據(ju)中臺的三(san)個核心(xin)組成部分 1、方法論 數據中臺的建設首(shou)先需要(yao)系統的方法論支持。這套方法論決定了企(qi)業如何(he)從“混(hun)亂的數(shu)據(ju)堆”走向“有序的數(shu)據(ju)資產”。其核心理念包括: 統一(yi)的數據標準與(yu)口徑:確保(bao)所有業務(wu)線在同(tong)一(yi)語言體(ti)系下進行分析與(yu)決策,解決“同一指標多個定義”的(de)問題; 可復用的(de)數據(ju)建模體(ti)系(xi):圍繞“主題域 + 指標體系”構建沉淀(dian)式的數(shu)據(ju)模(mo)型(xing),減少重復開發; 分層的數據治理框架:數據采集、清洗(xi)、建模(mo)、輸出各環節都有治理規則,確保質(zhi)量、穩定性與可(ke)追(zhui)溯性; 生命(ming)周期(qi)(qi)管理機制(zhi):對數據資產、接口、特征進(jin)行版本化(hua)、生命(ming)周期(qi)(qi)化(hua)管理,避免“建了不用、用了沒人維(wei)護”。 2、組織結(jie)構 數據(ju)中臺不(bu)是一個IT系(xi)統(tong),而(er)是一種企業級能力的協同組(zu)織機制。要(yao)讓中臺真正(zheng)發揮(hui)作用,就必須同步建立起與之相匹配的組(zu)織結構(gou)。這(zhe)通常包括(kuo): 設立專職的(de)數(shu)據能力中心(xin)或數(shu)據平臺部:統籌數(shu)據采(cai)集、建(jian)模、治(zhi)理(li)、服務的(de)建(jian)設與運維;
配(pei)備跨(kua)角色(se)的多崗位協作(zuo)機(ji)制:如數(shu)據產(chan)品經理、數(shu)據架構師(shi)、治(zhi)理專(zhuan)家、算法工(gong)程師(shi)、服(fu)務(wu)運營人員等,形(xing)成(cheng)閉環團(tuan)隊; 明確中(zhong)臺與業務的協作邊界:中(zhong)臺做(zuo)“能(neng)力沉淀和服務化(hua)”,業務線做“具體落地和策略實(shi)施”,兩者相互協(xie)同,而(er)不是相互依賴; 推動數據(ju)文化(hua)和認知統(tong)一:通過培(pei)訓、制(zhi)度、平臺化(hua)產品等手段提升全員“用數”能(neng)力。 3、工(gong)具和產品 再(zai)先(xian)進的方法論(lun)、再(zai)成熟的組織,最終也(ye)需要借助(zhu)工具與產(chan)品(pin)化(hua)平臺(tai)來落地(di)。一個(ge)完善的數(shu)據中臺(tai),往往具備一整套可交付、可使用、可擴(kuo)展的產(chan)品(pin)體(ti)系。這些產(chan)品(pin)通(tong)常(chang)涵(han)蓋(gai): 數據構(gou)建與建模平臺:實(shi)現數據集成、模型搭建、指(zhi)標(biao)管理的自動化(hua)與可視化(hua); 數據治(zhi)理與資(zi)產(chan)管理平臺:支持血緣(yuan)追(zhui)蹤、數據地圖、質量監控、安全權限等能(neng)力; BI與分析工具:支持業務人員(yuan)自(zi)助分析、自(zi)定義報表(biao)、數據(ju)可視化,降低數據(ju)使用門檻; 數據(ju)服務平臺:支持(chi)API構建、數據(ju)產品(pin)發布、服務編排(pai)、低代碼數據(ju)調用(yong)等; 數據中臺的(de)智能化(hua)發展(zhan) 中臺(tai)戰略本質上是一(yi)種組織架構和管理(li)模式,其目標是通(tong)過復用提高(gao)企業整(zheng)體的(de)效率。 當前中臺的分類現狀:業務中臺 vs 數據中臺 業(ye)(ye)(ye)務(wu)(wu)中臺(tai)(tai)(tai):聚焦(jiao)于將企(qi)(qi)業(ye)(ye)(ye)常用的(de)業(ye)(ye)(ye)務(wu)(wu)模塊(如支付、訂單、會(hui)員、營銷等)進行(xing)抽象(xiang)與標準化,形成可配置、可插拔、可組(zu)合的(de)業(ye)(ye)(ye)務(wu)(wu)組(zu)件,供前臺(tai)(tai)(tai)各業(ye)(ye)(ye)務(wu)(wu)線調用,提(ti)升開(kai)發效(xiao)率(lv)與創新靈活性(xing)(xing)。業(ye)(ye)(ye)務(wu)(wu)中臺(tai)(tai)(tai)更(geng)(geng)多(duo)偏向(xiang)于業(ye)(ye)(ye)務(wu)(wu)流(liu)程(cheng)(cheng)的(de)管控,將業(ye)(ye)(ye)務(wu)(wu)流(liu)程(cheng)(cheng)中共性(xing)(xing)的(de)服務(wu)(wu)抽象(xiang)出來,形成通(tong)用的(de)服務(wu)(wu)能力(li)。業(ye)(ye)(ye)務(wu)(wu)中臺(tai)(tai)(tai)可以極大(da)提(ti)升構建面(mian)向(xiang)終端用戶的(de)前臺(tai)(tai)(tai)的(de)速度和效(xiao)率(lv),致力(li)于打通(tong)企(qi)(qi)業(ye)(ye)(ye)流(liu)程(cheng)(cheng)鏈(lian)路,提(ti)升業(ye)(ye)(ye)務(wu)(wu)系(xi)(xi)統(tong)的(de)統(tong)一性(xing)(xing)與靈活性(xing)(xing),使新產(chan)品(pin)上線更(geng)(geng)快、跨系(xi)(xi)統(tong)協同(tong)更(geng)(geng)高(gao)效(xiao),是服務(wu)(wu)“業務敏捷創新(xin)”的(de)技術中(zhong)樞。 數(shu)(shu)(shu)(shu)(shu)據中臺:關注企業內(nei)部(bu)海(hai)量(liang)數(shu)(shu)(shu)(shu)(shu)據的整合、治理(li)、建模與服(fu)(fu)務化,打破數(shu)(shu)(shu)(shu)(shu)據孤(gu)島(dao),形(xing)成統一的數(shu)(shu)(shu)(shu)(shu)據資產底(di)座,支撐分析決策(ce)、指標體系與數(shu)(shu)(shu)(shu)(shu)據服(fu)(fu)務等任務。其(qi)目標是提升數(shu)(shu)(shu)(shu)(shu)據質量(liang)、增強數(shu)(shu)(shu)(shu)(shu)據可用性,包括(kuo)數(shu)(shu)(shu)(shu)(shu)據集成、數(shu)(shu)(shu)(shu)(shu)據倉庫、數(shu)(shu)(shu)(shu)(shu)據湖、數(shu)(shu)(shu)(shu)(shu)據治理(li)、數(shu)(shu)(shu)(shu)(shu)據服(fu)(fu)務、BI等(deng)應用(yong)。
盡管很多企業已經完(wan)成了(le)中臺體系的(de)建設,看上去有了(le)統一的(de)數倉、標準的(de)指標庫、完(wan)備的(de)ETL流(liu)程(cheng),甚至連(lian)數據大屏(ping)也點亮了不少,但隨著業務和智(zhi)能(neng)需求的(de)演進,還(huan)是存在(zai)一些(xie)問題: 很多企業把中臺當作一次性交付(fu)項目,建(jian)完即止,而不(bu)是持續(xu)進化的能力平(ping)臺。 沒(mei)有真正構建(jian)起“標準化數(shu)據服(fu)務目錄(lu)”,數(shu)據消費(fei)依賴(lai)“人找(zhao)人”,接口重復開發,無法(fa)復用。 甚至阿(a)里在(zai)2022年后也將原有“數據(ju)中(zhong)臺(tai)事業部”打散,轉為能力平臺(tai)+各業務線自主(zhu)運營。 “既然阿里都拆散數據中臺,是不是意味著(zhu)中臺徹底(di)失(shi)敗了?” 事(shi)實并非如(ru)此,本質上,阿里的調整揭示了一(yi)個(ge)(ge)信號(hao):中臺不是(shi)一(yi)個(ge)(ge)組織(zhi),也不是(shi)一(yi)個(ge)(ge)項目,而是(shi)一(yi)種長期運營、服(fu)務業務、持續演進的產品能(neng)力。 如果說傳統的數(shu)據中臺(tai),是為了(le)解決(jue)“數(shu)據散、數(shu)據亂(luan)、數(shu)據用不(bu)起來(lai)”的(de)問題,幫助(zhu)企業建立一套完整的(de)數(shu)據治理與服(fu)(fu)務(wu)體系;那么(me)AI時代的(de)數(shu)據中臺(tai),則(ze)必須具(ju)備“讓AI跑得起來(lai)”的(de)能力(li)——從數(shu)據資源整合者,升級為智能能力(li)供給(gei)者;從為人服(fu)(fu)務(wu)的(de)分析平臺(tai),進化(hua)為為AI賦能的(de)智能中樞。 面對這些變化,傳統數據中臺的(de)短板也(ye)逐漸暴(bao)露(lu)出來: 1、業務端需要“毫秒(miao)級(ji)”的(de)個性化推薦,而中臺(tai)的(de)數(shu)據服務卻仍(reng)停留在(zai)“日更新”; 2、AI模型急需調(diao)用結構(gou)化的特(te)征(zheng)數據、實時回流(liu)結果,而中(zhong)臺提供的卻仍是(shi)“離(li)線指標(biao)接口”; 3、用戶期望系統能“自動(dong)推薦”“預(yu)測行(xing)為(wei)”,中臺的輸出依舊停留在“報表+字段”。 于(yu)是,一個新的命題浮現出(chu)來: AI時代來臨,也(ye)促(cu)進著中(zhong)臺完(wan)成“使(shi)命(ming)升級”。 過去,中(zhong)臺的使(shi)命是“讓人用得起(qi)數(shu)(shu)據(ju)”,而現在,中臺(tai)的(de)挑(tiao)戰是——“讓AI用得起(qi)數(shu)(shu)據(ju)”。接下來,我們就來聊一聊:在AI驅(qu)動下,數(shu)(shu)據(ju)中臺(tai)應該如何進化?又該如何成為企業真正的(de)“智能引(yin)擎”? AI時(shi)代的數據(ju)中臺(tai)使命升級 當企業完(wan)成了數據中臺的基礎建設后,真正的挑戰(zhan)才剛剛開始。 過去(qu)幾年,中(zhong)臺的核心使命(ming)是“打通數(shu)據(ju)(ju)”、“統一指標”、“開放(fang)服(fu)務”,讓人看得懂、用得上數(shu)據(ju)(ju)。但進入AI時代,企業所面臨(lin)的業務場景發生了(le)根本性變化——中臺的職責也隨之升級: 從“讓人看懂數(shu)據(ju)(ju)”,轉(zhuan)變為“讓系統自動調(diao)度數(shu)據(ju)(ju)、策略(lve)能夠(gou)自動執(zhi)行”。 例如:阿(a)里媽媽作為阿(a)里旗下的一(yi)個數字營(ying)銷平臺,整合了直通車、引力魔方等(deng)多個營(ying)銷產品,幫助商(shang)家(jia)實(shi)現全(quan)渠道的智能(neng)營(ying)銷投放,廣(guang)告系(xi)統(tong)基于OneService數(shu)據(ju)中臺整合了(le)集團(tuan)內的各種數(shu)據(ju)資源,通過AI技術(shu),幫助商家在復雜商業環境中建(jian)立智能(neng)經營閉(bi)環,提升(sheng)投(tou)放(fang)效(xiao)果: 用戶分群(qun) + 興趣標(biao)簽服務:通過分析用(yong)戶的(de)行為數據,將用(yong)戶分為不同的(de)群(qun)體,并為每個群(qun)體打上(shang)相應(ying)的(de)興趣標(biao)簽,幫(bang)助廣(guang)告主更精準地定位目標(biao)受眾。 效(xiao)果預(yu)估(gu)模型(xing):可(ke)以根據廣(guang)告(gao)主的投放需求和歷史(shi)數(shu)據,預(yu)估(gu)廣(guang)告(gao)投放的效(xiao)果,如點擊率、轉(zhuan)化率等,幫助廣(guang)告(gao)主更合理地分配廣(guang)告(gao)預(yu)算; 策(ce)略服務(wu)化(hua):將廣(guang)告投放策(ce)略封(feng)裝成(cheng)服務(wu),供各業務(wu)線調用。
這(zhe)些變化背后(hou),透(tou)露出一(yi)個趨勢(shi): 企業正在從“數據(ju)(ju)驅(qu)動”走(zou)向(xiang)“智(zhi)能(neng)驅(qu)動”,而原本只負(fu)責數據(ju)(ju)整合(he)的(de)中臺,也必(bi)須升級為“智(zhi)能(neng)服(fu)務的(de)核心(xin)供給中心(xin)”。 數據中臺不再只是一(yi)個統一(yi)指標庫(ku)+數倉管理工具,而是要真正變(bian)成AI 能(neng)用、業務(wu)能(neng)調、策(ce)略能(neng)跑(pao)的平臺化能(neng)力(li)中心,從“數據管理+人工分析(xi)支撐”升級為“數據服務(wu)化+策(ce)略自(zi)動化+閉環智能(neng)化”。 簡單(dan)來(lai)說,中臺(tai)需要從(cong)“供(gong)數(shu)據(ju)”進(jin)一步升(sheng)(sheng)級(ji)為(wei)“供(gong)智能(neng)”,可以(yi)把它(ta)理解為(wei)一次(ci)“數(shu)據(ju)角色的(de)躍遷”:原(yuan)本(ben)為(wei)人(ren)服(fu)務的(de)數(shu)據(ju)中臺,升(sheng)(sheng)級(ji)為(wei)AI模(mo)型可以(yi)隨(sui)時調用特征(zheng)變量(liang)、并進(jin)行自(zi)行訓練、追(zhui)蹤。 但現(xian)實是——這部分(fen)能力,目前很多中臺系統還沒(mei)準備好。以數(shu)據服(fu)務層(ceng)和數(shu)據應(ying)用層(ceng)的改變為例: 1、數據服務層:連接模型與數據的(de)“中介(jie)” AI想用數(shu)據(ju),不是去數(shu)據(ju)庫里翻字段(duan),而(er)是通過“服務接口(kou)”來調; 特征平臺的API、策略(lve)服務的RPC接(jie)口(kou),都屬于(yu)數據(ju)服務層(ceng)的核心能力; 沒有這個(ge)層,模型(xing)再(zai)強,也只(zhi)能“餓(e)著肚子干活”。 2、數據應用層:AI模型真(zhen)正“跑起來”的地(di)方 包括模型平臺(tai)(ModelOps)、推薦系統、營銷投放系統、智能BI等; 是策略執行、效果(guo)回流、模型(xing)再訓練(lian)的主戰場; 很多(duo)企(qi)業已經把這層從“報表展(zhan)示”升級到“策(ce)略輸出”。
只有讓數據(ju)真正(zheng)能用、能跑(pao)、能反饋,AI能(neng)力(li)才(cai)能(neng)落地(di)成真正的企業價值,數據(ju)中臺才(cai)能(neng)完成從(cong)“支撐(cheng)系統”到“賦能(neng)智能(neng)”的升級。 FineDataLink是一款集實時數據(ju)同步、ELT/ETL數據(ju)處理(li)(li)、離線/實時數據(ju)開(kai)發、數據(ju)服(fu)務和系統管理(li)(li)于一體的(de)數據(ju)集成工(gong)具,可(ke)在Windows或Linux環境上單機/集群(qun)部署,全程基于B/S瀏覽器端(duan)進行(xing)任務開(kai)發和任務運維,更(geng)多精彩(cai)功能,邀您體驗(yan),希望能幫您解決(jue)企(qi)業(ye)中數據(ju)從任意(yi)(yi)終端(duan)到任意(yi)(yi)終端(duan)的(de)處理(li)(li)和傳輸問(wen)題,讓流動(dong)的(de)數據(ju)更(geng)有價(jia)值!
文章轉載自(zi)|5G+AI大(da)模(mo)型工廠研究(jiu)院
|





