高性能計算

隨著計算機科學技術的快速發展,高性能計算已成為科學研究所必需的輔助工具,并在各個基礎學科領域發揮出了巨大的作用。如在氣象氣候、石油物探、航空航天、工程計算、密碼研究、生物基因、船舶工程、地質勘探、海洋工程、城市建設、武器研究、材料工程、環境科學等領域,且此類計算任務往往公式復雜、計算難度大、計算時間極長,用一般計算方式難于完成,因此高性能計算系統就成為必不可少的工具。


近年來,Linux并行集群系統漸漸成為HPC的主流,并使HPC進入更廣闊的工業和商業應用市場,為用戶提供高性能計算、網絡請求響應或專業的應用程序(包括并行計算、數據庫、Web)等服務。相比起傳統的大型機和小型機,集群系統有極強的伸縮性,可通過在集群中增加或刪減節點的方式,在不影響原有應用與計算任務的情況下,隨時增加和降低系統的處理能力,也可根據不同的計算模式與規模,構成集群系統的節點數可以從幾個到上千個,對于以國家政府、軍方及大型組織機構來講,節點數目可以達到數千甚至上萬。



挑戰

性能擴展

在存儲系統中,處理器主要完成I/O處理、cache控制管理、數據傳輸控制以及一些智能化的軟件功能,處理器的能力直接影響到整個存儲系統的性能。因此存儲系統需要能夠將所有服務器的CPU虛擬化成一個性能超強的CPU,對數據存儲內容分發進行數據處理,提升存儲系統整體存取效率,提升整個應用的處理能力,且為了滿足數據處理程序對存儲性能增長率的要求,采用的存儲設備必須具有良好的性能擴展性能,可以將單個任務分布式的存儲在多臺存儲服務器中,屏蔽掉由于單個硬盤或者服務器對外提供存儲服務而造成的數據讀寫瓶頸。


數據緩存機制

對于大數據量圖片訪問應用,存儲系統需要擁有緩存機制,將所有經常被訪問的數據存儲在緩存池中方便用戶調取經常被訪問的數據時可以直接從緩存調取,且緩存池容量無需設置限制。


海量文件高效檢索效率

當數據量不斷增長(如圖片類與數據處理數據),存儲系統里面的文件數量也會快速增長。當存儲系統內的文件數量增長到數千萬以上時,文件的檢索查找等操作將會給文件系統帶來巨大的壓力,特別是一個目錄下面存放的文件超過一定數量甚至會造成文件查找效率急劇下降。


可靠性、可維護性與可擴展性



LoongStore解決方案

面向高性能計算集群存儲架構設計

針對高性能計算應用高并發的特點,采用帶外模式的大規模開放集群存儲架構,通過高速網絡將通用存儲服務器中的CPU、內存、網絡帶寬、磁盤轉速、總線性能整合在一起,形成一個高端存儲器,使得存儲總體性能高于計算處理能力與網絡帶寬的傳輸速度,以此來屏蔽由于磁盤和總線性能提升緩慢造成的存儲性能瓶頸。本次項目中我們將以全線速網絡互連前端的計算節點和后端的存儲及元數據節點,以保證存儲設備的性能輸出達到最大化。由于采用帶外模式,很好的消除了元數據通路與數據通路的相互干擾。而元數據服務器的集群化和存儲服務器的集群化,使得整個系統中不存在像NAS或者SAN系統那樣的性能瓶頸點,因此能夠完全滿足高性能計算應用高并發的需求。


針對高性能計算數據海量存儲需求的高可擴展技術

高性能計算應用除了高并發訪問的特點之外,海量數據存儲也是其重要特征之一。從目前計算任務的需求以及未來發展趨勢看,相信不久的將來高性能計算平臺的存儲容量會不斷的擴大,從而達到幾十PB或者上百PB,那么現有的存儲系統會不斷的擴展,為此,存儲系統的海量高可擴展技術對計算平臺非常重要,我們在LoongStore在線無限制快速擴容以及負載均衡技術的基礎上研制高可擴展存儲技術,使得存儲系統的規模能夠隨著計算應用的發展而高效、無需中斷服務的在線擴展,同時達到隨著容量的增加性能的線性增長。


針對高性能計算的海量小文件高吞吐率、高效檢索技術

目前,存儲市場上大部分的存儲系統在海量小文件的應用模式下,都存在吞吐率低,檢索慢的問題。這個問題的本質原因是整個存儲系統處理元數據的效率所導致的。由于目前絕大多數存儲系統都是采用單一元數據服務器架構,雖然部分存儲系統有兩個元數據服務器,但是系統正常情況下只有一個元數據服務器提供服務功能,另一個處于standby狀態,本質上屬于高可用作用,因此,當整個存儲系統的文件數量達到一定規模時,檢索文件的效率變得極其低下,從而導致小文件吞吐率低。我們在LoongStore現有的多元數據服務器集群技術的基礎上,結合高性能計算應用文件創建、訪問以及目錄結構特點,研制獨一無二的多元數據服務器集群技術,在一套存儲系統中可以根據用戶生產系統中實際產生文件數量的規模對元數據服務器集群進行動態配置,整個存儲系統中所有的元數據服務器同時參與文件的檢索和定位工作,消除存儲系統中元數據通道的瓶頸,同時還可以根據后續應用特點的變化和需求的增強,做到在線擴展元數據服務器,并且達到即插即用的效果。


面向高性能計算的智能數據緩存技術

高效的數據緩存技術能夠幫助存儲系統發揮更好的性能,提高計算任務的效率。我們擬采用多級智能數據緩存技術來實現高效緩存。首先,通過應用服務器上自主研發客戶端內核模塊,分析應用訪問數據的特點,采用特定的緩存算法在應用服務器上有效緩存應用的訪問數據;其次,將所有存儲服務器的內存集合起來形成一個大的緩存池,通過存儲服務器上獨特地緩存算法緩存不同應用訪問的數據;最后,將所有元數據服務器的內存集合起來形成一個高效的元數據緩存池,通過復雜的元數據淘汰算法來緩存元數據信息。通過這樣多級數據的緩存技術,會使得整個存儲系統的性能能夠得到大幅提高。


面向多用戶環境的增強型權限管理技術

計算平臺是一個多用戶共享平臺,每天都有很多用戶在計算平臺上面運行不同的任務,整個存儲系統需要保證各個用戶之間的任務相互獨立、數據安全高可用,因此,傳統的基于操作系統用戶權限的管理技術無法完全滿足計算平臺的需求。在新研制的存儲系統中擬提供增強型權限管理技術,除了兼容原有基于操作系統用戶的權限管理之外,還增加了自身所特有的增強型權限管理技術,通過存儲系統的后端管理平臺直接為某個目錄指定哪些用戶、或者哪些應用服務器能夠訪問,哪些目錄禁止用戶刪除、修改等。


面向海量數據的全局數據高可用技術

高可用對于一個存儲系統來說非常重要,本質上來看就是如何使存儲系統自身不存在單點故障。目前市場是大部分的存儲系統在可靠性方面主要是依靠硬件自身的可靠性來實現,比如Raid技術,采用高端的光纖盤陣等,這些高可用技術存在很大的局限性,恢復效率差,無法適應海量數據的應用環境。LoongStore獨特的全局數據高可用技術,結合應用特點用自身獨有的軟件技術來完成高可用,首先,無論是存儲服務器還是元數據服務器都采用了集群化技術;其次,存儲系統軟件層采用多副本技術、文件動態分片技術、文件級raid技術以及支持不同目錄設置不同冗余度技術來保證整個系統的高可用。最終,通過這些高效的全系統規模數據高可用技術,徹底消除存儲系統中的單點故障。另外,存儲系統內置了自動故障探測機制,可以動態探測不同的故障,并自動啟動數據的恢復流程確保數據完整性,數據恢復完全在存儲后端進行,不對前端應用造成任何影響,在保證數據安全的同時確保用戶的應用持續穩定的運行,單臺存儲服務器或者元數據服務器發生損壞都不會對應用數據讀寫造成任何影響,且隨著存儲服務器的不斷增加,數據恢復的速度成倍增長,即服務集群規模越大數據的安全性越高。


以磁盤為粒度的在線實時訪問流量調控技術

存儲系統采用對象存儲技術,能夠做到以磁盤為粒度的在線實時訪問流量調控技術,當整個存儲系統通過實時監控發現某些設備或者磁盤處于高負載的情況時,一方面,存儲系統可以通過禁止某些設備寫入數據,從而降低某些設備的負載;另一方面,可以啟動系統負載調控功能,存儲系統根據自身智能負載機制將系統的熱點數據進行遷移,使得存儲系統中的各個存儲節點負載均衡。


針對高性能計算應用的集群存儲系統高并發讀寫技術

高性能計算特點是高并發讀寫,針對這種應用的特點,與傳統的設備級分片不同,擬采用文件切片技術,將文件均勻分布在整個存儲服務器集群中,以保證應用無論是對單個文件還是多個文件的訪問模式,都能有效利用整個存儲服務器集群提供的性能;另一方面應用服務器端通過高速網絡直接與存儲服務器通信,高效地利用了高速網絡提供的帶寬,消除了通行過程中的網絡瓶頸。采用這樣的技術之后,當整個計算平臺的上千個應用節點同時訪問數據的時,能夠確保整個存儲系統的每個設備都能發揮出自身的硬件能力,為前端應用提供更大的聚合帶寬。


滿足大計算量、長周期計算特點的不停機擴容技術,保持計算任務的連續性

計算平臺作為一個大規模的平臺,具有使用周期長、計算量大的特點,在實際的使用過程中,存在著隨時擴展整個計算平臺的計算和存儲能力的需求,這就要求整個存儲系統具有在線擴容的能力。本次項目研制的系統單套系統容量能夠支持多達EB,其靈活的擴展性允許在線擴容,獨有的數據恢復策略可以實現在線的更換所有硬件設備,能夠滿足計算平臺中磁盤和數據總線性能提升時,存儲底層設備的更換,實現一套存儲系統永久滿足高性能計算的存儲需求。且擴容過程不影響前端的應用,同時系統的總體IO帶寬隨著規模的擴大線性增長,可以根據計算規模不斷變化的定制存儲系統,以此滿足高性能計算中對容量與性能的需求。



广东时时彩有几种玩法