Hadoop大數據



一、領先的產品

龍存高端集群存儲系統是面向海量數據存儲和高并發訪問的應用而設計的大規模通用集群存儲系統,采用通用智能存儲節點作為基本的構建單元,為應用提供全局統一的系統映像和完全POSIX兼容的API接口。


龍存高端集群存儲系統采用了完全的分布式架構,將存儲服務器集群和元數據服務器集群通過高速以太網絡構建,具備良好的擴展性和可靠性。利用核心軟件LeoFS的相關軟件功能消除集群內的單點故障,避免因為故障而導致服務中斷或者數據丟失等影響,并且打破了傳統存儲系統容量、文件數量的種種限制。


基于Hadoop大數據引擎套件是一款分布式大數據平臺產品套件,提供數據接入、存儲、查詢、檢索等基本數據管理功能,同時針對典型應用場景提供深度分析解決方案。龍存LeoFS作為大規模商用的成熟分布式文件系統,可以完整的替代HDFS模塊支持Hadoop的前端業務,為前端業務帶來更加完備、更高性能、更具備擴展能力的存儲基礎平臺。


二、體系架構

如圖所示,完整的套件是一款大數據管理分析平臺,基于底層的基礎平臺,自下而上可以分四層,依次是數據存儲層、數據總線、數據處理層以及業務適配層。

1、數據存儲層

支持海量異構數據的統一可靠的存儲管理,對外提供統一的分布式調用接口。


2、數據總線

支持數據采集、過濾、緩存、中轉分發調度等。數據總線是拉通計算與存儲的樞紐,同時是內外數據交換的通道,完成數據在組件間及層次間中轉、緩沖及調度。


3、數據處理層

基于支持多種計算模型的分布式計算框架,為上層業務系統提供專業的計算處理庫,包括 文本處理、搜索引擎、數據挖掘等。


4、業務適配層

為上層業務系統提供各種不同協議和標準的訪問接口。


5、高性能高可用

通過軟硬件多方優化配置和深度研究,保證整個平臺的高可用和高性能。




三、龍存產品具備如下技術特色

1、豐富存儲類型支持

除了對傳統關系型及KV類型支持外,龍存產品還支持對圖類型、POSIX文件以及文檔類型等支持。


2、數據生產與分析拉通

通過統一底層存儲,兼容POSIX,實現數據處理無縫鏈接。


3、高速流式處理框架

基于內存集群架構,支持對流式數據的清洗、過濾及實時分析。


4、兼容標準訪問接口

各組件提供標準POSIX及REST等訪問接口。


5、全方位運維管理平臺

全方位運維管理平臺 提供Web及CLI方式的運維及操作控制兩套平臺,分別面向系統管理員及數據分析師。


6、高可擴展及高可用

繼承了Hadoop社區高可擴展的系統架構,同時提供定制化數據冗余策略,實現成本與可靠性的平衡。




四、產品組件

1、產品定義

LoongStore LeoFS是對應HDFS層的大規模通用集群存儲平臺。提供副本之外的低冗余高性價比建設方案;同時支持Posix/Hadoop/SAN兼容的生產/分析超融合方案;可構建于通用服務器之上。


2、核心功能

LoongStore LeoFS體系架構上采用out-of-band模式,可分別數據存儲集群和元數據集群進行擴展,有效避免了傳統NAS架構中的單點瓶頸;在接口層面為應用提供全局統一的系統映像和共享數據訪問。網絡方面集群各節點間可通過光纖及萬兆以太網高速互聯,提供極高聚合帶寬。

與HDFS不同,在功能方面LoongStore LeoFS對外提供完全POSIX兼容的文件服務;可基于數據重要程度按目錄粒度分別設置副本及RAID等不同冗余方式;權限方面兼容ACL協議,提供豐富的訪問控制。


3、產品優勢

通用硬件:無需專用存儲設備,可直接基于通用服務器平臺構建,支持X86、MIPS等通用架構。可對既有設備充分利舊,保護用戶已有投資。

在線擴展:LoongStore LeoFS提供在線的容量及處理能力擴展,包括數據存儲節點及元數據處理節點,并自動在擴容后對全系統容量和熱點訪問進行均衡。

兼容POSIX/Hadoop:通過兼容hadoop接口,hadoop生態群的原生計算框架及組件可透明運行于LoongStore LeoFS之上,使得數據分析任務直接基于在線生產環境進行,拉通數據生產與分析環節,避免了大量的數據遷移操作。

兼容NFS/SAN:存儲使用方式可支持文件接口和分布式塊設備接口,可基于同一套x86服務器集群同時對外提供文件系統及塊訪問接口,因而可替換專用的存儲SAN設備。支持通用x86服務器集群上部署Oracle Rac分布式數據庫系統,而無需專用光纖盤陣,大大提升系統并發性能并降低成本。

低冗余高可靠:LoongStore LeoFS除了提供副本方式之外還提供基于Erasure code的N+M冗余方式。相比傳統Hadoop副本使用方式,可在保證數據可靠的同時大幅提升存儲利用率從而降低成本。

快速數據恢復:消除傳統RAID恢復技術中單盤性能瓶頸,采用多對多的方式,從所有節點的所有磁盤并發進行數據恢復,可提供極高的聚合恢復帶寬,從而有效縮短因設備出錯導致的全系統降級運行時間。

高并發吞吐率:通過采用元數據節點集群技術及SSD加速技術,全系統吞吐率不存在性能瓶頸點。單2U存儲節點IO帶寬可達到3.5Gbps,并可隨系統規模近似線性擴展。

標準易用:LoongStore LeoFS客戶端支持目前所有主流Linux,Windows及IOS平臺。使用時可以作為標準文件系統盤進行掛載。兼容本地文件系統使用方式。



五、應用場景

LoongStore LEOFS為大數據平臺的通用存儲層,可同時適用于離線hadoop分析+傳統Posix生產場景+集群數據庫場景;尤其適合海量非結構化數據的存儲,比如圖像、音視頻、文檔等文件。同時其可單獨應用于存儲虛擬化、云存儲以及傳統HPC高性能計算領域。



六、技術參數對比

广东时时彩有几种玩法