檔案影像

一、應用背景

LoongStore 大規模集群存儲系統是一款針對海量數據存儲應用而設計的大規模通用集群存儲系統,采用通用智能存儲節點作為基本的構建單元,為應用提供全局統一的系統映像和完全POSIX兼容的API 接口。LoongStore自推向市場以來,以其卓越的性能表現和易管理性,受到了各行業客戶廣泛好評。典型行業包括互聯網、電信、廣電、能源等。在未來的發展過程中,LoongStore將繼續堅持以自主知識產權為核心,通過建立、完善公司產品技術,持續發掘團隊創造力和積極性,以國內市場為基礎,參與全球市場競爭,讓世界認知中國高新科技的創新能力與價值。



二、檔案數據業務應用特征與存儲需求特點

1、業務應用特征

建設服務主導型的數字檔案管理,即“文件形成電子化,傳播檔案信息網絡化,在線編研系統化,檔案利用超市化,館藏檔案數字化,來館利用趨零化”等一系列新理念和新設想,利用高科技手段塑造檔案管理的新形象。


數字化檔案管理系統的建設突破了傳統的、封閉的檔案管理模式,實現了檔案工作以手工管理為主向以計算機管理為主、以管理檔案實體為主向以管理檔案信息為主、以檔案存儲保管為主向利用服務為主的轉變。數字化檔案管理系統的開放系統包容了紙質檔案、實物檔案、圖片檔案、影視檔案的各方面及檔案信息的產生、收集、整理、保管、利用的全過程,將不同介質、不同類別相互獨立的檔案信息整合成統一的資源庫,并確定其相互關聯關系,增加了檔案管理工作的科技含量,為各企事業單位生產、經營提供了安全、優質、高效的信息服務手段,充分發揮檔案信息的經濟價值和社會價值。


數字化檔案管理通常以機房為中心,各客戶端通過內部局域網或Internet發布進行訪問。在多級綜合網絡中,內部主要包括:


1、檔案收集:收集各種具有保存價值的文件、聲像材料,各級機關、企事業單位公文、會議交流材料等。這一過程中需要各用戶端搜集整理,并匯總到統一存儲系統。


2、檔案整理:主要包括分類、組卷、目錄編制等工作,然后將各種檔案進行數字化錄入。這一過程同樣可在采集數據存儲系統中進行即可。


3、檔案管理:利用各操作終端在專用的管理系統上對檔案即時編輯管理。


4、檔案利用:通過內部共享或WEB發布提供。強有力的容災存儲系統及全面的網絡安全是數據安全的重要保障。


2、存儲需求特點

有上述工作模式可見,整個平臺需要存儲系統具備以下幾個特點:


1、需要存儲能夠支持文件全局共享:讓檔案的收集、整理、管理、利用等過程都有能夠無縫銜接,所有業務服務器能夠直接按需共享訪問對應的檔案文件,確保管理流程中相關檔案文件不需要拷貝或者傳輸就能夠進行無縫的訪問管理。整個工作流程中的各階段流程能夠順暢的進行,從而提高整體業務的運轉效率。


2、需要存儲提供較高的性能:從檔案管理的業務發展方向來看,檔案管理向著內容服務轉變,檔案文件的存儲平臺將會面臨更多可能的訪問和調用。為了能夠更好的支持快速對海量的檔案文件內容進行相關的編輯、管理和檢索,充分利用檔案的深入價值,就必須能夠在海量的內容中快速的檢索到需要的數據,這就要求存儲系統必須具備較高的性能。如果存儲系統的數據讀寫速度達不到需要的性能,那么檔案信息平臺將很難作為一個服務性的平臺為更多的人和機構提供服務。


3、按需建設,在線擴展的大容量存儲系統:由于檔案內容的清晰度越來越高,文件越來越大,以及需要保存的檔案項目也不斷增多,導致整體的檔案數據量非常大。如果不能將海量的檔案數據進行較好的統一存儲和管理,并且不能按需在線擴展施工,數據就被分散的存儲到多個獨立的存儲系統內,導致后期信息平臺管理過程浪費大量人力物力,也影響項目的進程。


4、需要高效支持海量文件:在檔案的信息化流程中,海量的檔案圖片文件將會給存儲系統帶來巨大的壓力。傳統存儲在這種大小文件混雜的情況下,訪問性能會急劇降低,導致整個檔案信息化平臺運轉效率低下,難以提供檢索訪問服務。


5、需要更高的數據安全性:傳統的存儲只能提供硬盤級的安全性保護,像RAID5同一時間最多只能允許一塊硬盤出現損壞,RAID6同一時間只允許損壞兩塊硬盤,但是當總數據量達到數十、上百TB,使用大容量硬盤導致RAID重建的時間遠遠超過8個小時,硬盤連續出現故障的頻率會更高,容易出現整個盤陣數據丟失的情況。


6、需要遵從法律法規:電子檔案的存儲和管理,需要符合相關法律法規要求,實現長期安全的保存,并且需要能夠防止各種可能導致檔案文件被破壞的事故。那么就要求存儲系統自身具備良好的檔案文件長期保存和管理的能力。



三、龍存解決方案介紹

1、方案介紹

LoongStore是面向海量數據存儲和高并發訪問的應用而設計的大規模通用集群存儲系統,采用通用智能存儲節點作為基本的構建單元,為應用提供全局統一的系統映像和完全POSIX兼容的API接口。


LoongStore集群存儲系統采用了完全的分布式架構,將存儲服務器集群和元數據服務器集群通過高速以太網絡構建,具備良好的擴展性和可靠性。利用LoongStore的相關軟件功能消除集群內的單點故障,避免因為故障而導致服務中斷或者數據丟失等影響,并且打破了傳統存儲系統容量、文件數量的種種限制。


龍存方案拓撲圖如下:

LoongStore存儲系統主要由元數據服務器集群、智能存儲服務器集群兩大部分組成。元數據服務器集群管理文件系統的元數據,管理整個存儲系統的命名空間,對外提供單一的系統映像。智能存儲服務器集群存儲用戶的實際數據,是整個LoongStore存儲系統的存儲資源提供者。


2、方案特點

(1)、文件全局共享

LoongStore大規模集群存儲系統提供PB級別的文件全局共享功能,所有業務服務器都可按需看到一致文件視圖。數據的全局共享可以加強各服務器之間的協作,提高了業務的運行效率。而且數據的統一管理也方便用戶數據的統一管理,并簡化業務系統的開發。


(2)、高效管理海量數據

隨著檔案資料業務的增多,存儲系統中將積累大量的數據,存儲系統里面的文件數量也會快速增長。當存儲系統內的文件數量增長到數千萬以上時,文件的檢索查找等操作將會給文件系統帶來巨大的壓力,特別是一個目錄下面存放的文件超過一定數量甚至會造成文件查找效率急劇下降。這就需要存儲系統能夠容納海量的數據,而傳統的存儲系統都有單個存儲卷容量大小的限制(如16TB/2TB)。


LoongStore的單卷可支持PB級的存儲空間,高效的管理上百億個文件,單目錄可以高效支持千萬級的文件數量。這些特性對于數據量較大又需要統一管理的應用非常重要。通過同時對于大文件、小文件都能夠較好的支撐,方案中我們可以不需要在業務運轉過程中有意識的區分大小文件的存儲,而是可以統一將所有的文件數據進行存儲和管理,從而達到簡化管理的目的。


(3)、高數據讀寫性能

應用中多個服務器需要共享訪問數據文件,在一些數據訪問高峰期會給存儲系統帶來較大的IO壓力。LoongStore集群存儲系統通過多臺存儲服務器提供同時數據存取服務的方法以滿足大量應用服務器的并發訪問需求。在應用服務器端,當應用程序往存儲系統上寫文件時,文件將會被根據一定大小進行分片存放到多臺存儲服務器上;在應用程序讀文件時,則并發的從多個服務器上讀取數據。由于大量的數據IO請求都被分散到多臺存儲服務器上,使得所有的存儲服務器上的磁盤性能和網絡帶寬都可以同時得到充分的利用,這樣LoongStore集群存儲系統的聚合帶寬由多臺的存儲服務器上的IO帶寬相加而成,從而克服了NAS的單一出口點所造成性能瓶頸,可以滿足多臺應用節點并發訪問的帶寬需求。


通過實現多存儲服務器的并發數據訪問支持,消除了傳統存儲系統中常見的負載不均導致的熱點數據問題。LoongStore通過數據在存儲服務器集群中的條帶化分布實現高效、全面的負載均衡功能,充分利用硬件和網絡的性能,發揮出極高IO吞吐量。在隨著存儲服務器規模不斷擴展的情況下,聚合性能可以高達100GB/s。


(4)、高數據安全性

a、無單點故障

基于數據安全性方面的考慮,用戶可以通過LoongStore配置工具設置數據相應的安全等級,選擇將數據和校驗數據分別存放在不同的存儲服務器上。LoongStore存儲系統可以同時使用多條高速數據通道,可消除網絡層的單點故障,進一步提高系統的高可用性。在這樣的情況下,即使出現存儲服務器宕機、網絡中斷、磁盤損壞時,仍然能夠保障數據完整性和數據服務的持續運行。例如,在運行中存儲服務器由于磁盤損壞而丟失了該磁盤上的部分數據,LoongStore集群存儲系統將會立刻發現該異常并自發的啟動數據恢復流程,利用存放于其它存儲服務器中該部分數據的校驗數據重新生成一份以保證數據仍有一定的冗余度。由于LoongStore的數據恢復是基于真實丟失的數據,并且數據恢復是通過整個存儲集群同時并發進行,所以相對于傳統的RAID技術具備更快的數據重建速度,這也能夠有效提升數據的安全性。比如說750GB SATA硬盤的故障恢復速度不超過30分鐘,為RAID重建時間的1/5。


通過將數據和校驗數據存放在不同存儲服務器的方法可以對一系列的軟硬件故障(網絡、主機、磁盤等)進行自動的隔離,消除了存儲系統的任何單點故障,而且也無需配置任何復雜的配置。同時由于存儲系統內的文件素材的訪問權限實現了較好的安全策略,能夠通過和域控服務器實現較好的結合,所有的目錄或者文件的訪問都會經過存儲系統對于用戶名的檢查,確保文件是被正確的帳號訪問,從而達到更好的數據安全性保密性。


b、實現WORM權限

LoongStore集群存儲系統支持文件系統級別細致的權限管理,在完全支持傳統存儲的存儲權限基礎上,還根據不同的業務需求發展出了特殊的權限控制設置功能。比如能夠控制以下權限:1. 是否可以刪除文件;2. 是否可以重命名文件; 3. 是否可以修改文件內容;4. 是否可以追加文件內容;5. 是否允許只能創建、只能追加、能夠讀取的權限等;在上述詳細的存儲系統權限設置的功能背景下,能夠實現支持業務系統WORM需求,滿足“法規遵從”的概念,從而在高性能、高可擴展性的集群存儲系統之上實現類似于磁帶庫的存儲模式。?


c、追溯和審計

LoongStore大規模集群存儲系統能夠支持詳細記錄檔案文件的創建、刪除的客戶端的IP地址、時間等詳細信息,從而實現從存儲系統側的檔案文件更安全的管控,實現相關檔案文件在存儲系統內部過程的追溯和審計,提高檔案存儲和管理的安全性。


針對大數據應用平臺環境中多用戶、高并發讀寫的特點,除了支持標準操作系統權限機制之外,內置專用高強度權限管理機制,將權限細分為:讀、寫、非修改寫、創建、刪除、List和重命名等7個子權限,并可針對特定應用服務器節點或用戶對某個文件或目錄的訪問進行隨機動態組合,實現權限的細粒度靈活管理,確保所有用戶數據的高度安全。


d、支持LAN-FREE備份

LoongStore集群存儲系統支持在存儲服務器中安裝光纖HBA卡、備份軟件,實現將數據直接從一臺或者更多的存儲服務器上直接將本集群存儲系統內部的所有數據從光纖FC網絡備份到磁帶庫中,實現LAN-FREE方式的數據直接備份效果,從而大幅度降低備份過程中對于局域網絡的帶寬資源消耗,減少備份操作對于業務系統的影像。


e、易在線動態擴展

LoongStore集群存儲系統可以支持動態的擴展存儲容量,而無需中斷應用的運行。用戶可以通過LoongStore的配置工具動態添加存儲服務器以擴大系統的容量和規模,而且隨著存儲服務器數據的增多,整套系統的聚合帶寬也會線性的增長,完全可以滿足業務不斷發展所產生的容量和性能需求。


工業標準的通用硬件良好的兼容性和可獲得性方便了整套存儲系統將來的使用和擴展,LoongStore支持在1小時內無縫的在線增加上百TB存儲容量,確保業務系統的連續性。


f、易維護

LoongStore存儲系統配有簡單易用的圖形化管理和監控界面,支持通過專用的安全通道進行遠程配置和全系統監控,能夠智能的發現各類軟硬件故障并進行處理,減少了管理員的工作量。


LoongStore存儲系統的設計是面向通用的硬件和軟件環境,如使用通用的以太網絡作為數據傳輸通道可以確保充分利用現有的環境,并且可以無需對環境做出任何修改。另外LoongStore能夠直接支持Linux、Windows等常用的操作系統之間進行數據共享,無需對操作系統做任何修改,所以能夠無縫的接入到企業現有的軟硬件環境。


g、低整體擁有成本

LoongStore大規模集群存儲系統能夠極大的降低構建和運維成本,主要有以下幾點:


1、極大地提高了數據可用性:通過LoongStore內置的高可用和故障自動恢復功能等卓越的功能,極大減少了系統由于維護或備份恢復所需的大量時間,從而徹底提高了企業的生產效率。


2、數據的充分共享:數據可以被前端的各種類型的主機共享,無需在Linux和Windows、Mac系統之間進行數據遷移。這允許一個數據拷貝被所有人員與進程共享,大大減少了對不同環境下相同的數據的多種形式的管理費用。


3、存儲的運維成本:由于LoongStore采用了通用、企業級的硬件構建,具有極高的性價比和兼容性。管理員可以輕易的掌握LoongStore的運維管理,使得培訓支出上的費用大大減少。




广东时时彩有几种玩法