分布式存儲
distributed storage
定義:將數(shù)據(jù)按照一定的分布算法分散存儲在多臺獨(dú)立的存儲節(jié)點(diǎn)上,實(shí)現(xiàn)多節(jié)點(diǎn)并行訪問的存儲技術(shù)。
學(xué)科:計算機(jī)科學(xué)技術(shù)_計算機(jī)體系結(jié)構(gòu)_存儲系統(tǒng)
相關(guān)名詞:存儲介質(zhì)、大規(guī)模并行計算機(jī)、服務(wù)器
圖片來源:視覺中國
【延伸閱讀】
分布式存儲最早是由谷歌提出的概念,其目的是通過廉價的服務(wù)器為大規(guī)模、高并發(fā)場景下的網(wǎng)頁訪問場景提供服務(wù)。它通過分布式軟件將物理資源組織起來,構(gòu)成具備高性能的邏輯存儲池,在保證可靠性的同時提供多種存儲服務(wù)。
一般而言,分布式存儲是將數(shù)據(jù)分散存儲在多臺獨(dú)立的物理設(shè)備上(通常是通用X86服務(wù)器),采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺物理服務(wù)器分擔(dān)存儲負(fù)荷,利用位置服務(wù)器定位存儲信息。這種架構(gòu)不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。
分布式存儲擴(kuò)展能力強(qiáng),容量隨節(jié)點(diǎn)數(shù)線性上漲,可達(dá)到EB(百億億字節(jié),艾字節(jié))級別,但網(wǎng)絡(luò)時延會成為分布式存儲對外提供服務(wù)時的瓶頸。
歷經(jīng)幾十年的發(fā)展,分布式存儲的發(fā)展經(jīng)歷了以下四個階段:
第一個階段是1980年代的網(wǎng)絡(luò)文件系統(tǒng),該系統(tǒng)通過少量服務(wù)器(通用X86服務(wù)器)實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的簡單文件共享(文件共享是指主動地在網(wǎng)絡(luò)上共享自己的計算機(jī)文件)。
第二個階段是1990年代的共享SAN文件存儲,該類型存儲已經(jīng)能夠外接SAN設(shè)備實(shí)現(xiàn)更大的文件系統(tǒng)。SAN存儲全稱為存儲區(qū)域網(wǎng)絡(luò),是一種連接外接存儲設(shè)備和服務(wù)器的存儲架構(gòu)。
第三個階段是2000年代的Share-Nothing存儲,這種存儲開始利用通用服務(wù)器構(gòu)建起高擴(kuò)展的存儲系統(tǒng)。Share-Nothing存儲架構(gòu)的優(yōu)點(diǎn)是每臺服務(wù)器都可以對外提供服務(wù),擴(kuò)展性比之前的架構(gòu)更好。
第四個階段是2010年代逐漸產(chǎn)生的企業(yè)級的云存儲,這類存儲開始具備豐富的企業(yè)特性,存儲性能、效率和數(shù)據(jù)保護(hù)能力有了進(jìn)一步的增強(qiáng),開始廣泛應(yīng)用在各行各業(yè)中。
下一個十年,分布式存儲的技術(shù)創(chuàng)新將集中在AI(人工智能技術(shù))、介質(zhì)和架構(gòu)三個主要的方向。
首先是AI,AI技術(shù)的發(fā)展會使得存儲更加智能,使得分布式存儲自動化運(yùn)維的能力逐步增強(qiáng)。
其次是存儲介質(zhì),QLC(四層存儲單元)、TLC(三層存儲單元)、NVME over Fabric(使用Fabric網(wǎng)絡(luò)來承載NVMe協(xié)議) 等存儲介質(zhì)和傳輸協(xié)議的發(fā)展使得分布式存儲具備更優(yōu)的價格和更低的時延。
最后,為了適應(yīng)新興的技術(shù)和存儲介質(zhì),適配海量多樣的數(shù)據(jù)帶來的性能和成本挑戰(zhàn),分布式存儲在架構(gòu)上也會出現(xiàn)相應(yīng)的創(chuàng)新。
分布式存儲主要的應(yīng)用場景一般為氣象氣候預(yù)測、地質(zhì)勘探、航空航天、工程計算、材料工程等領(lǐng)域。
責(zé)任編輯:張鵬輝