HOME > 最新消息> 品牌新訊

以 GRAVITY 打造跨組織分治的資料治理架構

2021/10/21
基於數據網格(Data Mesh) 的資料管理、分享大平台


以數據網格(Data Mesh)打造分治的 Data Catalog 機制
 

當數位化要求越高、數位轉型的程度越高,資料的數量、複雜度也隨之增加,橫跨多個系統的資料交換、分享、供應,已經是讓許多 IT 技術人員頭痛的難題,如今橫跨組織、行政單位的資料治理議題,該怎麼實現,更是讓所有人頭痛摸不著頭緒。

無論建構如何強大的資料倉儲、設計多麽細膩的開放 API,更甚至是勤勞的去動手整理、發佈資料,總是跟不上應用端的需要。把自家系統效能搞到崩潰不說,甚至有無數種的資料授權、認證機制,無數個手動工作,只是為了滿足第三方前來資料存取。

散落在企業內各處的資料、散落在不同行政單位的資料,以及散於第三方的資料太多,異質的資料系統、存取政策之間,需要能分治且能容易整合的機制才能滿足。因此要想有效率、簡單、受管控的交換資料、進行資料整合、資料訂閱,這時 GRAVITY 數據中台技術所帶來的數據網格(Data Mesh)架構就完全派上用場了。

打造資料分治管理平台


每個系統和組織團隊的資料各自管理,卻能相互授權訂閱
 

若要開放資料給外部系統取用,首當其衝的問題就是需要實現資料發佈、資料型錄(Data Catalog),然後需要花大量人力開發 API,接著要著手設計架構以避免查詢壓力導致系統崩潰,最後還要擔心資料安全、認證、授權等議題。

引入數據網格(Data Mesh)之後,就能在 Infra 或 Database 的層級,實現對分散在各處的資料系統進行管理和管控,甚至因應實際用量需求,能夠對資料庫實現讀寫分離、分片、副本、快取等機制。而資料代理機制,更可以實現資料訂閱,並成為資料庫系統的防火牆,使外部系統無法直接接觸資料庫系統,並控管各種由外部系統來的存取和訂閱需求。

透過數據網格的 Data Catalog 機制,資料網路的訂閱者,可以無需考慮原始資料所在,而隨選並訂閱所需要的資料。過程中,亦可以使用金鑰進行資料的加密授權、存取驗證,確保資料的安全性。

|若資料量不多,過往的做法可能是先集中於資料倉儲(Data Warehouse),然後再讓各自有需求的系統自行拉取。但這樣做,除了即時性不高,也帶來資料倉儲、資料源極大的壓力、第三方前來拉取資料的效率不佳。而過於集中的另一個問題,就是單點故障的可能性相當大,任何開放的工作都可能帶來整體系統極高的風險,一旦要進行擴充或是增加存取彈性,系統就會面零極大崩潰的風險。|

資料訂閱授權機制



利用金鑰機制授權訂閱者進行資料訂閱和管控

在 GRAVITY 的設計上,若想要從特定的資料節點訂閱資料或拉取資料,需要有一把足夠權限的金鑰才能進行,由於一個資料節點上可能有多個資料集(Collection),訂閱者只能依據金鑰的權限去訂閱被允許的資料集。

因此,若是不屬於同系統、同組織下的第三方系統(3rd-party)想要來訂閱資料,我們又要確保資料能被保護,只供應特定資料給第三方。對於資料擁有者(Data Owner)來說,只需要建立並提供第三方一把可用的金鑰,並賦予其指定的資料集權限即可。

可以跨雲、跨域的數據網格管理


介於資料庫系統、資料代理節點和應用程式之間的資料流控管和調度

數據網格(Data Mesh)管理的重點在於調度不同系統之間的資料流、資料授權機制,以及資料集清單資訊的彙整,方便有需求的資料訂閱者選用。在這樣的架構下,資料的交換不再需要大量的客製化,也可以滿足大量的資料取用需求,輕易的開放近乎即時的資料供外部系統、第三方系統所使用。

此外,跨雲、跨域的實現也在資料代理節點的架構下得以滿足,讓雲地資料傳輸及管理可以被落實,也可以透過相關的資料系統擴充機制,避免資料查詢壓力過於集中導致資料系統崩潰的風險。

產品相關問題 請洽詢:零壹科技 Joe 陳先生 <joe.chen@zerone.com.tw>