2024可信數據庫發展大會(TDBC)于7月16日~17日在北京舉行。會上,中國信通院公布 2024 年上半年“可信數據庫”系列評測結果。酷克數據旗下的企業版 HashData Enterprise 云原生數據倉庫(以下簡稱“HashData 云數倉”)通過分布式分析型數據庫基礎能力產品測試并獲證書,同時入選中國信通院《中國數據庫產業圖譜(2024)》。酷克數據解決方案架構師吳昊受邀參與“電信行業數據庫應用創新分論壇”,并發表主題演講。
頻獲行業認可 HashData 通過“可信數據庫”評測
經過嚴苛的測試和評審,2024 年上半年,共有 23 家企業的 27 款產品通過了本批次可信數據庫 31 項測試,中國信通院云計算與大數據所大數據與部主任姜春宇為通過評測的企業頒發證書。
酷克數據旗下的企業版 HashData 云數倉通過分布式分析型數據庫基礎能力產品測試,獲評“可信數據庫”。本次評測依據《大數據 分布式分析型數據庫技術要求與測試方法》,全面測試了 HashData 云數倉在基本功能、運維要求、兼容性要求、安全性要求、容錯要求以及擴展性要求這 6 大方面的能力。測試結果表明,HashData 云數倉在分布式分析型數據庫的功能完備性、易用性、通用性等方面均符合標準要求。
產品介紹
HashData 云數倉是酷克數據基于自有開源數據庫 CloudberryDB 內核增強,推出的一款企業級分布式分析型數據庫系統,具備高彈性、高性能、高可用、低成本等特性。該系統采用存算分離的云原生系統架構,實現了存儲、計算、元數據分離。在統一的元數據管理下,提供全域數據管理、多模態分析計算能力,支撐全場景數據分析。
HashData云數倉架構圖
與傳統架構的數據倉庫系統相比,HashData 云數倉在大規模集群建設時,能夠實現更大的系統彈性、并發性,并大幅降低硬件成本,更符合當前中大型用戶的數字化轉型需求。截止目前,HashData 云數倉已應用于金融、運營商、能源等眾多行業頭部企業與大型央國企的數據倉庫系統,最大客戶規模超過 35000 個節點。
核心特性
·存算分離的彈性架構,克服傳統 MPP 局限性:基于存算分離的架構,實現了基礎設施資源和應用解耦,可以根據計算集群的工作負載變化,靈活、動態調配計算集群資源。計算集群間性能相互隔離,資源和操作完全獨立,避免產生相互競爭 CPU、內存和 IO 的情況,幫助用戶實現系統層面的資源使用效率提升。
·OneData,實現真正意義上的企業級統一數據視圖:真正實現全部數據資產的統一數據平臺納管,建立企業級統一數據視圖,融合各種數據平臺、數據倉庫與數據集市,大幅降低數據治理復雜度,縮短數據加工鏈路,避免數據冗余,避免數據孤島,提升業務使用數據的敏捷性。
·建立湖倉一體體系,實現數據高效融通:在滿足上層應用的同時,充分考慮了大型企業的數據中臺技術框架,實現數據湖與數據倉庫無縫融合。通過外部表和連接器的方式與基于 Hadoop 生態的數據湖進行集成,在企業內部形成混合架構的數據平臺體系;也可實現基于統一共享存儲的融合架構,以 HashData 集群和 Spark 集群分別支撐不同業務場景,數據以 ORC 格式統一存儲在共享存儲上,避免了不同集群間重復導入導出數據,實現湖倉業務數據和元數據真正融合。
·優秀的集成能力,構筑完善的上下游生態:提供了豐富的分析接口,對各種開發語言和上下游生態軟件充分兼容,能夠快速實現與企業報表指標工具、智能統計工具、數據洞察工具、自助分析工具、研發云平臺等系統的兼容適配,面向用戶提供高效的數據分析能力。
·容器化部署能力,幫助企業構建彈性數據底座:突破了網絡、存儲、調度、管理等難點,通過采用 K8S+HashData 的技術路線,實現了秒級快速擴縮容、讀寫分離、高可用、資源敏捷交付等能力,快速滿足業務發展需要,進一步提升資源利用率。
·結合自研 AI 工具,提供多樣化的分析計算能力:實現了 ANSI SQL 2008 和 2003 OLAP 標準,支持 JDBC 和 ODBC 接口,擴展了分析能力,支持多種編程語言,并原生支持 Apache Madlib 和 PostGIS,在 MPP 架構上支持多種分析形式,同時兼容業界常用的 ETL 和 BI 工具。結合酷克數據自主研發的下一代 In-Database 高級分析和數據科學工具 HashML,提供豐富的 AI 算法和模型能力,支持機器學習、深度學習算法及預訓練大模型,共享云數倉的存儲和計算資源,降低了部署成本和復雜度,為開發者提供了統一的數據查詢、分析、建模環境。
·高效運維監控平臺,降低了數據庫管理成本:融合云計算技術,提供了自動化運維監控平臺 CloudManager,通過對各類云平臺資源的統一管理,整合數據庫集群的監控、運維、管理等功能,建立統一的數字化管理運維平臺,實現圖形化、自動化操作,及時、高效應對數據庫故障,大幅降低了數據倉庫的運維管理成本。
HashData 入選中國數據庫產業圖譜
會上,中國通信標準化協會互聯網與應用技術工作委員會主席何寶宏代表中國通信標準化協會正式發布《中國數據庫產業圖譜(2024)》。圖譜梳理了我國當前數據庫產業鏈上下游發展狀況,研判數據庫產品分類及分布態勢,探索技術發展方向,洞察產業發展現狀,旨在全面客觀展現過去一年我國數據庫產業中的關鍵領域、環節和代表企業。
HashData 云數倉作為酷克數據旗下的重要產品,憑借其出色的技術實力和市場表現,成功入選了中國信通院發布的《中國數據庫產業圖譜(2024)》數據庫主流產品-分布式分析型數據庫競爭者板塊。
電信行業數據庫應用創新分論壇上,吳昊指出,移動互聯網的發展導致電信行業數據量激增,這對數據平臺的建設提出了前所未有的挑戰。從解決單點業務問題到垂直大數據應用,再到企業級大數據中心的構建,這一系列的演變,不僅要求數據平臺在數據處理和業務支撐上具備更強的能力,更重要的是,催生了一種全新的數據思維。在這種新思維下,數據洞察不再依存于基于復雜模型的抽樣理論,而是基于全量數據進行分析,進行全量計算,從而降低對復雜模型的依賴。
這要求數據平臺必須擁有出色的處理能力和高度的靈活性,以便能夠迅速適應不斷變化的數據環境和業務需求。然而,傳統的 MPP 數據庫由于采用了存儲與計算緊密耦合的架構,導致其彈性伸縮能力不足,難以滿足當前數字化轉型需求。為了解決這些挑戰,需要采用新的技術架構和管理方法,以提高數據平臺的靈活性、可擴展性和安全性。
針對上述挑戰,吳昊詳細介紹了基于存算分離架構的 HashData 云原生數據倉庫的獨特優勢。他強調,HashData 采用元數據、計算和存儲三者分離的架構,能夠更好地適應跨集群、跨中心以及跨云中心的數據訪問。HashData 利用統一的元數據和存儲服務,構建了具有權威性的企業級數據視圖,使得多個計算集群能夠無縫共享數據。借助云端資源的靈活伸縮性,不僅顯著提升了運維效率,還降低了系統復雜度,并成功消解了木桶效應等潛在問題。吳昊進一步分享了 HashData 在電信行業的實際應用案例:
·基于信創底座構建湖倉融合的數據中臺:某大型運營商選用 HashData 進行數據中臺信創升級改造。HashData 運用云原生技術重構大數據算力調度引擎,并基于客戶信創底座構建多樣化分析平臺。該平臺融合現有大數據體系,支持批量和準實時分析,采用聯邦 HDFS 統一存儲、管理多源異構數據,實現數據一次入湖、直觀分析。同時,支持多引擎融合,允許用戶根據需求靈活選擇計算引擎,并能根據租戶需求隔離計算業務集群,彈性調整算力。基于存算分離架構,該平臺能夠滿足各類業務場景的技術需求,實現業務資源需求快速交付,歷史數據平滑過渡,核心技術自主可控,為用戶業務增長提供了強有力的支持。
·基于 K8S 打造云原生數據平臺:某運營商聯合酷克數據團隊,突破以往容器化僅用于無狀態應用場景或開發測試環境的限制,采用 K8S+HashData 的技術路線,在國內率先建成真實生產環境下的容器化部署大規模云原生數據倉庫。相比原有數據平臺,基于容器化部署的 HashData 云數倉,具備高可用、高并發、計算資源水平無限擴展、秒級擴縮容等能力,擴縮容期間不影響業務連續性,實現了計算資源快速部署、高效交付的建設目標。
最后,吳昊展望了存算分離架構在電信行業的廣闊前景。他認為,隨著技術的不斷進步和業務的持續發展,存算分離架構將在更多領域發揮重要作用。
結語
TDBC2024可信數據庫發展大會的成功舉辦,不僅展示了中國數據庫產業的最新成果,也為行業未來的發展指明了方向。酷克數據旗下的HashData云數倉在本次大會上大放異彩,不僅通過了“可信數據庫”系列評測,還成功入選《中國數據庫產業圖譜(2024)》,充分證明了其在分布式分析型數據庫領域的強大實力和市場認可度。吳昊在電信行業數據庫應用創新分論壇上的精彩演講,更是進一步闡述了HashData云數倉在應對電信行業數字化轉型挑戰中的獨特優勢和實際應用價值。展望未來,隨著技術的不斷進步和業務的持續發展,HashData云數倉有望在更多領域發揮重要作用,推動中國數據庫產業邁向新的高度。
(推廣)
來源:東方網 | 撰稿:酷克數據 | 責編:谷晟 審核:張淵
新聞投稿:184042016@qq.com 新聞熱線:135 8189 2583