四川中衛(wèi)北斗科技有限公司

在線咨詢
微信

微信掃一掃

長按二維碼關(guān)注微信加好友

交通運輸數(shù)據(jù)資源共享交換體系探究與實現(xiàn)

發(fā)布時間:2022-03-08 16:37

作者:左大鵬(四川省交通運輸廳信息中心)

摘要:隨著交通運輸信息化應(yīng)用的不斷豐富更新,行業(yè)內(nèi)外應(yīng)用間高效協(xié)同需求強烈,為進(jìn)一步提升群眾辦事服務(wù)與行業(yè)管理質(zhì)量和效率,迫切需要建設(shè)高效率高質(zhì)量的交通運輸資源匯聚治理與交換共享體系。本文基于四川省交通運輸行業(yè)信息化的現(xiàn)狀與問題,梳理了數(shù)據(jù)流需求,介紹了數(shù)據(jù)匯聚與治理機制和數(shù)據(jù)中心存儲設(shè)計,針對行業(yè)內(nèi)外數(shù)據(jù)交換共享需求提出了數(shù)據(jù)交換共享平臺邏輯架構(gòu),最后對數(shù)據(jù)資源匯聚治理與交換共享體系在實際項目中的應(yīng)用情況進(jìn)行了簡要說明。

隨著信息化技術(shù)在交通運輸行業(yè)的深入推廣,各級交通運輸管理部門為滿足行業(yè)發(fā)展管理需求積極建設(shè)了相應(yīng)信息系統(tǒng),包括公路建設(shè)、路網(wǎng)管理、水路、運管、航空、鐵路等許多業(yè)務(wù)應(yīng)用系統(tǒng)[1],應(yīng)用協(xié)同數(shù)據(jù)需求越來越多,數(shù)據(jù)協(xié)同的效率和質(zhì)量直接關(guān)系到應(yīng)用的使用效率和準(zhǔn)確性,更關(guān)系到交通運輸行業(yè)公眾服務(wù)和政務(wù)管理的質(zhì)量與效率。為滿足交通運輸數(shù)據(jù)資源交換共享需求,進(jìn)而提升數(shù)據(jù)資源利用效率和業(yè)務(wù)應(yīng)用協(xié)同效率,推進(jìn)交通運輸行業(yè)的公眾服務(wù)、政務(wù)管理,綜合分析的高質(zhì)量發(fā)展的關(guān)鍵在于發(fā)展對應(yīng)的高質(zhì)量高效率交通運輸數(shù)據(jù)資源共享交換體系。


一、現(xiàn)狀及問題

隨著近年來信息化建設(shè)的不斷深入,四川省交通運輸各級業(yè)務(wù)部門根據(jù)自身業(yè)務(wù)管理需求已經(jīng)建設(shè)了相應(yīng)的信息系統(tǒng),涉及行業(yè)包括公路交通、路網(wǎng)運行、道路運輸、水路交通、綜合服務(wù)管理等[1]。
不過,這些系統(tǒng)的建立只服務(wù)于獨立的業(yè)務(wù)部門,且在不同時期完成,缺少統(tǒng)一的管理規(guī)劃,業(yè)務(wù)系統(tǒng)各自掌握的數(shù)據(jù)不能及時有效提供給相關(guān)需求單位,在數(shù)據(jù)交換共享方面仍然存在問題。
通過四川省交通運輸廳數(shù)據(jù)中心的建設(shè),已對現(xiàn)有交通運輸省直部門業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行了匯聚,包括公路交通、水路交通、道路運輸、城市交通、綜合管理等[1]。通過對以上匯聚數(shù)據(jù)資源進(jìn)行分析,發(fā)現(xiàn)基礎(chǔ)類數(shù)據(jù)資源存在數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、一類數(shù)據(jù)存在多個數(shù)據(jù)源、數(shù)據(jù)質(zhì)量不高、數(shù)據(jù)更新不及時等情況,導(dǎo)致在業(yè)務(wù)系統(tǒng)間無法有效互聯(lián)互通,業(yè)務(wù)數(shù)據(jù)協(xié)同應(yīng)用效率不足,質(zhì)量不高。


二、數(shù)據(jù)流需求

為提高交通運輸數(shù)據(jù)資源交換共享效率,首先需要掌握數(shù)據(jù)中心交換共享整體需求,從數(shù)據(jù)生產(chǎn)源到數(shù)據(jù)需求端進(jìn)行了全面梳理。全省行業(yè)交通運輸數(shù)據(jù)流如圖1所示。
image.png
圖1 交通行業(yè)數(shù)據(jù)流示意圖
1、底部為數(shù)據(jù)生產(chǎn)源,包括四個部分,分別是省級云上信息系統(tǒng)、省級云外業(yè)務(wù)單位信息系統(tǒng)、行業(yè)外信息系統(tǒng)、市州交通運輸局?jǐn)?shù)據(jù)分中心;
2、各個環(huán)節(jié)數(shù)據(jù)交互通過省級數(shù)據(jù)交換節(jié)點實現(xiàn);
3、匯聚數(shù)據(jù)分別根據(jù)結(jié)構(gòu)化與非結(jié)構(gòu)化屬性將行業(yè)內(nèi)外各類數(shù)據(jù)采集到省級數(shù)據(jù)中心和大數(shù)據(jù)平臺;
4、通過省級數(shù)據(jù)資源交換共享平臺將數(shù)據(jù)中心匯聚數(shù)據(jù)進(jìn)行數(shù)據(jù)管控,通過融合治理、元數(shù)據(jù)管理等,構(gòu)建行業(yè)人車戶路四類基礎(chǔ)數(shù)據(jù)庫、建管養(yǎng)運四類業(yè)務(wù)數(shù)據(jù)庫,形成包括公眾出行、電子證照、空間地理、應(yīng)急指揮等行業(yè)主題數(shù)據(jù)庫;
5、省級數(shù)據(jù)資源交換共享平臺通過編制目錄、對接數(shù)據(jù)、注冊資源、形成數(shù)據(jù)服務(wù),對外依申請共享或直接開放;
6、省級數(shù)據(jù)資源交換共享平臺通過交換管理實現(xiàn)對數(shù)據(jù)服務(wù)狀況;
7、最后到達(dá)頂部數(shù)據(jù)需求端,包括交通運輸部、省大數(shù)據(jù)中心、省級其他單位、省級云上(外)信息系統(tǒng)、市州交通運輸局、交通運輸行業(yè)互聯(lián)網(wǎng)企業(yè)。


三、數(shù)據(jù)匯聚與治理

(一)數(shù)據(jù)匯聚
為實現(xiàn)高效率匯聚數(shù)據(jù),主要通過大數(shù)據(jù)ETL工具實現(xiàn)數(shù)據(jù)匯聚,大數(shù)據(jù)ETL工具功能豐富,涵蓋了數(shù)據(jù)庫、各類數(shù)據(jù)文件、接口等多種數(shù)據(jù)對接方式,是比較主流高效的數(shù)據(jù)匯聚工具。大數(shù)據(jù)ETL具體功能如圖2所示。
image.png
圖2 大數(shù)據(jù)ETL工具功能示意圖
(二)數(shù)據(jù)治理
數(shù)據(jù)治理主要從目錄管理、數(shù)據(jù)管控兩方面入手,通過運用數(shù)據(jù)治理規(guī)則建立一套數(shù)據(jù)準(zhǔn)入和準(zhǔn)出機制,以保障數(shù)據(jù)準(zhǔn)確性、一致性、完整性和可用性,從而提供高質(zhì)量的數(shù)據(jù)資源用于交換共享支撐應(yīng)用協(xié)同[2]。
1、目錄管理
目錄項管理:根據(jù)交通運輸部行業(yè)資源分類及目錄編制指南,對匯聚的數(shù)據(jù)資源編制行業(yè)資源目錄。創(chuàng)建的目錄項結(jié)構(gòu)中一級目錄對應(yīng)六大行業(yè)分類,包括:公路交通、道路運輸、水路交通、城市交通、綜合管理、行業(yè)外管理[1];二級目錄對應(yīng)各個一級目錄下的業(yè)務(wù)分類。
目錄信息項編目:對目錄進(jìn)行信息項各項內(nèi)容進(jìn)行編目、并進(jìn)行審核后發(fā)布,保持對目錄信息更新維護。
數(shù)據(jù)標(biāo)準(zhǔn):形成我省交通運輸行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)模板。提供標(biāo)準(zhǔn)數(shù)據(jù)模板的查詢、新增、編輯、刪除、保存、取消、啟動/停用、下載模板等功能,保持標(biāo)準(zhǔn)數(shù)據(jù)模板的更新維護和使用。
2、數(shù)據(jù)管控
元數(shù)據(jù)管理:實現(xiàn)不同數(shù)據(jù)源情況下的元數(shù)據(jù)匯聚,進(jìn)行元數(shù)據(jù)編碼,實現(xiàn)數(shù)據(jù)關(guān)聯(lián),提供對元數(shù)據(jù)增刪改查及批量導(dǎo)出等功能; 
質(zhì)量審計:提供審計規(guī)則制定、審計方案制定(多個規(guī)則生成一個方案)、審計質(zhì)量分析、審計質(zhì)量報告的數(shù)據(jù)質(zhì)量管理全過程的功能。根據(jù)數(shù)據(jù)質(zhì)量審計結(jié)果,判斷數(shù)據(jù)是否準(zhǔn)入。
數(shù)據(jù)清洗:對已匯聚數(shù)據(jù)按照數(shù)據(jù)清洗規(guī)則進(jìn)行轉(zhuǎn)換、清洗、融合等處理。數(shù)據(jù)清洗規(guī)則包括非空檢查、非法代碼、非法值、格式核驗、邏輯錯誤、關(guān)聯(lián)性驗證等
數(shù)據(jù)融合:主要有遞增、覆蓋、全量三種方式。
多源數(shù)據(jù)處理:針對相同數(shù)據(jù)資源,具有多個業(yè)務(wù)系統(tǒng)來源,各自業(yè)務(wù)系統(tǒng)相對獨立,數(shù)據(jù)規(guī)則不統(tǒng)一,僅滿足自己業(yè)務(wù)需求應(yīng)用,無法實現(xiàn)數(shù)據(jù)同步統(tǒng)一更新。以收費站基礎(chǔ)信息為例,公路局、高管局及監(jiān)控結(jié)算中心相關(guān)業(yè)務(wù)系統(tǒng)均有一份收費站數(shù)據(jù),以滿足各自的業(yè)務(wù)需要。從3個業(yè)務(wù)數(shù)據(jù)采集匯聚后的數(shù)據(jù)質(zhì)量、數(shù)據(jù)結(jié)構(gòu)均不完全一致,采用的收費站編碼規(guī)則也不一樣。建議一是采納由實際業(yè)務(wù)應(yīng)用最廣泛最頻繁業(yè)務(wù)系統(tǒng)為基礎(chǔ);二是統(tǒng)一采用JT/T132-2014公路數(shù)據(jù)庫編目編碼規(guī)范針對公路網(wǎng)基礎(chǔ)設(shè)施定義編碼規(guī)范;三是制定融合規(guī)范,進(jìn)行數(shù)據(jù)升級,定義設(shè)施設(shè)備唯一標(biāo)識,實現(xiàn)對不同業(yè)務(wù)系統(tǒng)同樣設(shè)施設(shè)備進(jìn)行數(shù)據(jù)升級,并逐步實現(xiàn)其他差異消除。


四、數(shù)據(jù)存儲設(shè)計

數(shù)據(jù)資源經(jīng)過匯聚治理后需要分門別類進(jìn)行儲存以便進(jìn)行提高數(shù)據(jù)讀寫效率,提高數(shù)據(jù)可用性,一致性。數(shù)據(jù)中心存儲設(shè)計如圖3所示。
image.png
圖3 數(shù)據(jù)中心存儲設(shè)計圖
核心生產(chǎn)系統(tǒng)結(jié)構(gòu)化常量增量數(shù)據(jù)(非海量增量數(shù)據(jù))可以通過oracle一體機進(jìn)行采集存儲,根據(jù)標(biāo)準(zhǔn)數(shù)據(jù)資源目錄模型進(jìn)行數(shù)據(jù)存放,存放數(shù)據(jù)形式為清單級數(shù)據(jù)。同時利用其性能優(yōu)勢,支撐高并發(fā)、時效性要求高的應(yīng)用場景。
生產(chǎn)系統(tǒng)海量數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)可以直接進(jìn)入大數(shù)據(jù)平臺進(jìn)行數(shù)據(jù)存儲。利用大數(shù)據(jù)平臺計算組件選擇多樣、多租戶模式提供各應(yīng)用租戶大數(shù)據(jù)加工和分析能力。


五、數(shù)據(jù)交換共享平臺設(shè)計

數(shù)據(jù)資源交換共享與開放應(yīng)用平臺按數(shù)據(jù)的流向自下而上分為五層,分別為外部數(shù)據(jù)資源層、數(shù)據(jù)匯聚層、數(shù)據(jù)融合層、服務(wù)管理層和服務(wù)門戶層。數(shù)據(jù)交換共享平臺系統(tǒng)架構(gòu)如圖4所示。
image.png
圖4 數(shù)據(jù)交換共享平臺系統(tǒng)架構(gòu)圖
(一)外部數(shù)據(jù)資源層
外部數(shù)據(jù)資源層即源數(shù)據(jù)庫,為系統(tǒng)外部數(shù)據(jù)的來源,其主要包括行業(yè)內(nèi)系統(tǒng)共享數(shù)據(jù)、行業(yè)外系統(tǒng)共享數(shù)據(jù)及互聯(lián)網(wǎng)數(shù)據(jù)。
(二)數(shù)據(jù)匯聚層
數(shù)據(jù)匯聚層主要實現(xiàn)對外部數(shù)據(jù)源層的數(shù)據(jù)整合,其主要根據(jù)獲取數(shù)據(jù)的特性不同而采用不同的采集方案。對離線批處理數(shù)據(jù),實時性要求不高的情況下,采用傳統(tǒng)的etl工具來實現(xiàn)。對數(shù)據(jù)實時性要求高、采集頻度較高的數(shù)據(jù)(如GPS、傳感器、移動終端發(fā)送數(shù)據(jù)等),采用實時數(shù)據(jù)接入方案。
(三)數(shù)據(jù)融合層
數(shù)據(jù)融合層為工程數(shù)據(jù)提供持久化存儲和訪問的場所。通過“一體機數(shù)據(jù)庫+分布式數(shù)據(jù)庫+Hadoop大數(shù)據(jù)庫”的混合架構(gòu)形成平臺的數(shù)據(jù)融合層。其中核心生產(chǎn)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)存儲查詢等通過一體機數(shù)據(jù)庫提供,實現(xiàn)高并發(fā)的數(shù)據(jù)查詢分析能力;非結(jié)構(gòu)化數(shù)據(jù)通過分布式存儲架構(gòu)的存儲節(jié)點上部署的數(shù)據(jù)庫提供。
(四)服務(wù)管理層
主要包括目錄管理、資源管理、服務(wù)管理、交換管理等功能。
目錄管理提供目錄編制、目錄維護、目錄變更、目錄審核、目錄發(fā)布等操作功能,能夠方便快捷檢索到交通行業(yè)不同分類信息資源目錄情況。
資源管理部分主要是進(jìn)行資源注冊,根據(jù)已編制完成的信息資源目錄,在進(jìn)行了數(shù)據(jù)接入后進(jìn)行資源的注冊操作,將目錄編目時錄入的“標(biāo)準(zhǔn)化”信息項與數(shù)據(jù)接入時的實際信息項建立的匹配信息進(jìn)行注冊以便發(fā)布服務(wù)使用。
服務(wù)管理提供服務(wù)發(fā)布,服務(wù)啟用/停用,服務(wù)監(jiān)控,服務(wù)調(diào)用日志,統(tǒng)計分析等管理能力,實現(xiàn)服務(wù)的全生命周期管理,從開發(fā)、測試、發(fā)布、調(diào)用、注銷,到服務(wù)監(jiān)控、安全等的管理。
交換管理提供資源服務(wù)共享申請,交換管理,任務(wù)監(jiān)控等功能,通過接口、數(shù)據(jù)庫、文件等不同方式提供數(shù)據(jù)服務(wù)以滿足不同數(shù)據(jù)需求,對共享任務(wù)動態(tài)監(jiān)控告警方便跟蹤數(shù)據(jù)鏈路的聯(lián)通性[3]。
(五)服務(wù)門戶層
通過服務(wù)門戶和接口支持,提供標(biāo)準(zhǔn)化服務(wù)給應(yīng)用系統(tǒng)調(diào)用,滿足各種場景下應(yīng)用系統(tǒng)對數(shù)據(jù)的使用和共享交換需求。


六、應(yīng)用實例

本文以四川省交通運輸政務(wù)信息資源交換共享與開放應(yīng)用平臺為例,通過兩個基礎(chǔ)應(yīng)用平臺、一個存儲中心、多個數(shù)據(jù)交換節(jié)點形成全省交通運輸數(shù)據(jù)交換共享與開放應(yīng)用體系。四川省交通運輸數(shù)據(jù)交換共享與開放應(yīng)用平臺邏輯架構(gòu)如圖5所示。

image.png
圖5 四川省交通運輸數(shù)據(jù)交換共享與開放應(yīng)用平臺邏輯架構(gòu)圖
兩個基礎(chǔ)支撐平臺:一是共享交換平臺,依據(jù)四川省交通運輸行業(yè)資源現(xiàn)狀完成數(shù)據(jù)資源目錄體系建設(shè),形成數(shù)據(jù)資源交換標(biāo)準(zhǔn)編制規(guī)范,并提供目錄管理、資源注冊、資源服務(wù)、共享交換等功能,完成數(shù)據(jù)中心各庫之間、與大數(shù)據(jù)平臺之間、與行業(yè)業(yè)務(wù)局之間等的數(shù)據(jù)共享交換,并向所有業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)支撐;二是大數(shù)據(jù)平臺,一方面提供大數(shù)據(jù)量的存儲服務(wù),包括非結(jié)構(gòu)化、半結(jié)構(gòu)化、結(jié)構(gòu)化大數(shù)據(jù)存儲;另一方面一方面是提供大數(shù)據(jù)組件計算服務(wù)以及數(shù)據(jù)挖掘分析功能。
一個數(shù)據(jù)存儲中心:由大數(shù)據(jù)平臺存儲計算服務(wù)器與oracle一體機存儲服務(wù)器共同組成廳數(shù)據(jù)存儲中心。
數(shù)個省級數(shù)據(jù)交換節(jié)點:即數(shù)據(jù)采集平臺,采用了東方通交換共享平臺,根據(jù)交通行業(yè)數(shù)據(jù)和應(yīng)用特征,定制開發(fā)數(shù)據(jù)采集方式、轉(zhuǎn)換方式,并對現(xiàn)有各類行業(yè)數(shù)據(jù)進(jìn)行匯聚整合,打通各業(yè)務(wù)單位間不同數(shù)據(jù)結(jié)構(gòu)、不同網(wǎng)絡(luò)環(huán)境的數(shù)據(jù)交換工作。
數(shù)據(jù)工程:主要通過數(shù)據(jù)交換節(jié)點,結(jié)合共享交換平臺,完成數(shù)據(jù)資源接入,依托大數(shù)據(jù)平臺存儲服務(wù)器和oracle一體機形成的數(shù)據(jù)中心完成資源存儲,通過數(shù)據(jù)融合處理,形成交通運輸行業(yè)數(shù)據(jù)資產(chǎn),支撐數(shù)據(jù)資源目錄體系建設(shè)以及上層的業(yè)務(wù)應(yīng)用。
四川省交通運輸政務(wù)信息資源交換共享與開放應(yīng)用平臺:通過數(shù)據(jù)工程整合基礎(chǔ)支撐平臺、數(shù)據(jù)存儲中心、數(shù)據(jù)交換節(jié)點為一個整體平臺,實現(xiàn)從數(shù)據(jù)資源采集匯聚、數(shù)據(jù)資源編目、數(shù)據(jù)治理管控、數(shù)據(jù)服務(wù)發(fā)布、數(shù)據(jù)交換共享等數(shù)據(jù)全流程的監(jiān)控服務(wù)與分析,通過信息資源目錄提供統(tǒng)一的數(shù)據(jù)視圖,為行業(yè)各級管理部門、行業(yè)相關(guān)企業(yè)、其他政府部門以及社會公眾提供文件、接口、數(shù)據(jù)庫表等方式的標(biāo)準(zhǔn)數(shù)據(jù)服務(wù),形成高效的數(shù)據(jù)交換共享體系。
在采集匯聚資源成果方面,采集行業(yè)內(nèi)數(shù)據(jù)主要包括廳公路局、省航務(wù)海事中心、廳運管局、廳高管局、省交通質(zhì)監(jiān)站、路網(wǎng)中心、廳監(jiān)控結(jié)算中心、廳信息中心、物資儲備中心共9個相關(guān)業(yè)務(wù)單位的28個業(yè)務(wù)系統(tǒng),合計超過600項資源。
在管理治理成果方面,通過數(shù)據(jù)管控治理,整合形成公路基礎(chǔ)數(shù)據(jù),包括經(jīng)營業(yè)戶、從業(yè)人員、營運車輛、資質(zhì)證書;水路運輸基礎(chǔ),包括船舶、船員、船公司、渡口、碼頭、航道;空間地理信息等基礎(chǔ)庫;養(yǎng)護數(shù)據(jù)、工程建設(shè)、道路運輸、信用數(shù)據(jù)、行政審批、隱患上報等業(yè)務(wù)庫;公眾出行、綜合分析、應(yīng)急指揮、動態(tài)數(shù)據(jù)、統(tǒng)計分析、電子證照等主題庫;形成目錄資源服務(wù)259項。
在共享交換成果方面,通過四川省交通運輸政務(wù)信息資源交換共享與開放應(yīng)用平臺向交通運輸部政務(wù)信息交換共享平臺、四川省政務(wù)信息共享網(wǎng)站、四川公共數(shù)據(jù)開放網(wǎng)、四川省“互聯(lián)網(wǎng)+監(jiān)管”平臺提供行業(yè)相關(guān)數(shù)據(jù);向省大數(shù)據(jù)中心、省公安廳等其他十多個省直單位提供行業(yè)相關(guān)數(shù)據(jù);向全省22個市州交通運輸局共享所屬區(qū)域交通運輸行業(yè)數(shù)據(jù);通過政務(wù)公開、高德等行業(yè)企業(yè)對接等方式向社會開放提供各類數(shù)據(jù)查詢服務(wù)。


七、結(jié)束語

交通運輸數(shù)據(jù)資源共享交換體系在進(jìn)一步發(fā)展過程中,本文提出的交通運輸數(shù)據(jù)資源共享交換體系在四川省交通運輸應(yīng)急指揮與運行監(jiān)測系統(tǒng)工程(二期)中完成了建設(shè)實踐,有效支撐了四川省交通運輸行業(yè)當(dāng)下政務(wù)信息資源共享工作,促進(jìn)了行業(yè)政務(wù)服務(wù)和行業(yè)協(xié)同監(jiān)管能力的提升。為進(jìn)一步推進(jìn)政務(wù)信息資源共享工作,滿足新的政務(wù)服務(wù)和協(xié)同監(jiān)管需求,將繼續(xù)深入優(yōu)化交通運輸政務(wù)資源共享交換體系,加強交通運輸數(shù)據(jù)資源共享交換體系在數(shù)據(jù)質(zhì)量管控和共享效率等方面能力,促進(jìn)交通運輸管理部門政務(wù)服務(wù)和行業(yè)監(jiān)管能力與效率的提升。
參考文獻(xiàn)
[1] 郭明多,魏彬.交通運輸政務(wù)信息資源目錄編制方法及應(yīng)用[J].交通運輸研究,2018,4(2):37-43.
[2] 劉天須,王子昂,張雪揚.交通運輸行業(yè)數(shù)據(jù)治理體系研究[J].交通與信息化,2020,10:135-136.

[3] 王永明,王林,李聰,岑春.數(shù)據(jù)采集交換體系及其在交通運輸數(shù)據(jù)中心建設(shè)中的應(yīng)用研究[J].交通信息與安全,2013,3(31):108-112.

(原文刊載于2022年第1期《中國交通信息化》)

掃一掃在手機上閱讀本文章

版權(quán)所有? 四川中衛(wèi)北斗科技有限公司    蜀ICP備14007264號-3    技術(shù)支持: 竹子建站