2月28日，國內(nèi)AI領(lǐng)域先鋒DeepSeek在其“開源周”壓軸日宣布，正式開源3FS（Fire-Flyer File System）高性能并行文件系統(tǒng)及配套數(shù)據(jù)處理框架Smallpond。這一組合劍指AI時代海量數(shù)據(jù)處理的效率瓶頸，憑借突破性的吞吐性能與去中心化架構(gòu)設(shè)計，為深度學(xué)習(xí)訓(xùn)練、推理等場景提供了全新的基礎(chǔ)設(shè)施支持。

3FS：重新定義分布式存儲性能極限

作為專為現(xiàn)代SSD硬件與RDMA高速網(wǎng)絡(luò)量身打造的文件系統(tǒng)，3FS通過創(chuàng)新的并行架構(gòu)設(shè)計，徹底釋放硬件潛能。其核心亮點在于：

• 集群吞吐登頂：在180節(jié)點規(guī)模的測試集群中，3FS實現(xiàn)了6.6 TiB/s的聚合讀取吞吐，相當(dāng)于每秒傳輸逾14部4K藍光電影。
• 基準測試橫掃：以25節(jié)點完成GraySort基準測試時，以3.66 TiB/分鐘的成績刷新效能標桿，展現(xiàn)極速排序與數(shù)據(jù)搬運能力。
• 單節(jié)點爆發(fā)力：單個客戶端節(jié)點的KVCache查詢峰值突破40 GiB/s，滿足高并發(fā)實時需求。
• 架構(gòu)革命：采用無中心節(jié)點的分布式設(shè)計，同時確保強一致性語義，兼顧性能與數(shù)據(jù)可靠性。

穿透AI工作流全場景，化解數(shù)據(jù)“卡脖子”難題

3FS并非實驗室技術(shù)，而是直接服務(wù)于DeepSeek自身大模型訓(xùn)練體系（如V3/R1版本），覆蓋AI數(shù)據(jù)生命周期的關(guān)鍵環(huán)節(jié)：

• 訓(xùn)練前：加速TB級數(shù)據(jù)預(yù)處理與分布式加載，縮短模型迭代周期。
• 訓(xùn)練中：實現(xiàn)分鐘級千卡集群檢查點保存/恢復(fù)，規(guī)避訓(xùn)練中斷風(fēng)險。
• 推理時：支撐毫秒級向量檢索與KVCache查詢，保障低延遲響應(yīng)。
• 長期運維：提供PB級模型參數(shù)的高效版本管理，簡化生產(chǎn)部署。

Smallpond：輕量級數(shù)據(jù)處理的“渦輪引擎”

同步開源的Smallpond框架，將3FS與DuckDB分析引擎深度融合，打造“即時可用”的數(shù)據(jù)處理方案：

• 零服務(wù)依賴：無需常駐后臺進程，按需啟動釋放資源。
• PB級擴展：依托3FS分布式存儲，輕松應(yīng)對超大規(guī)模數(shù)據(jù)集。
• SQL友好：內(nèi)置DuckDB支持標準查詢語言，降低開發(fā)門檻。

開源生態(tài)雙星閃耀
3FS與Smallpond已全面開放源代碼，開發(fā)者可通過以下鏈接深入探索：

• 3FS項目地址：https://github.com/deepseek-ai/3FS
• Smallpond框架地址：https://github.com/deepseek-ai/smallpond

此次開源標志著DeepSeek“開源周”計劃的圓滿收官，也預(yù)示著AI基礎(chǔ)設(shè)施領(lǐng)域或?qū)⒂瓉硇乱惠喰阅芨镄隆ｋS著算力競爭進入白熱化，突破存儲瓶頸的3FS能否成為國產(chǎn)大模型訓(xùn)練的“隱形引擎”？業(yè)界正拭目以待。