論文の概要: Lakestream: A Consistent and Brokerless Data Plane for Large Foundation Model Training

• arxiv url: http://arxiv.org/abs/2605.09994v1
• Date: Mon, 11 May 2026 05:10:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.537405
• Title: Lakestream: A Consistent and Brokerless Data Plane for Large Foundation Model Training
• Title（参考訳）: Lakestream: 大規模ファンデーションモデルトレーニングのための一貫性とブロッカーレスデータプレーン
• Authors: Ting Sun, Junjie Zhang, Xiao Yan, Songxin Zhang, Zhuoyang Song, Jingyi Xi, Zunyao Mao, Bingyi Jing, Jiaxing Zhang, Zejian Xie,
• Abstract要約: ブローカレスでオブジェクトストアネイティブなトレーニングデータプレーンであるLakestreamについて紹介する。 まず、レイクハウススタイルのACIDストレージセマンティクスに基づいて構築されたTransactional Global Batch(TGB)を紹介する。 第2に、マニフェスト内のプロデューサ状態をインライン化することにより、ストレージ層に直接リカバリと保持を実現する。 第三に、分散適応コミット(DAC)アルゴリズムは、マニフェストが大きくなるにつれて安定した取り込みスループットを維持する。
• 参考スコア（独自算出の注目度）: 13.09314762856332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Large Foundation Model (LFM) training has transformed the data pipeline from a static ingestion layer into a dynamic component that must co-evolve with the training process. Existing systems are ill-equipped: colocated dataloaders offer no failure isolation, while message queue-based disaggregated dataloaders operate on a record/offset abstraction that cannot express the batch-level semantics required by distributed training. We present Lakestream, a brokerless, object-store-native training data plane with three key properties. First, it introduces the Transactional Global Batch (TGB), which builds on lakehouse-style ACID storage semantics and extends them with training-specific consistency, including atomic all-rank batch visibility, a globally ordered step sequence, checkpoint-aligned lifecycle management, and end-to-end exactly-once recovery. Second, it realizes recovery and retention directly in the storage layer, by inlining producer state in the manifest and tying reclamation to distributed checkpoint state. Third, its Decentralized Adaptive Commit (DAC) algorithm sustains stable ingestion throughput as the manifest grows, without any inter-producer communication. Evaluations on large-scale multimodal pre-training and SFT workloads using 64 GPUs show that Lakestream outperforms colocated dataloader throughput while providing full failure isolation, outperforms Apache Kafka in ingestion throughput, and achieves lower consumer read latency than Kafka.
• Abstract（参考訳）: Modern Large Foundation Model(LFM)トレーニングは、データパイプラインを静的な取り込み層から、トレーニングプロセスと共進化しなければならない動的コンポーネントに変換する。 メッセージキューベースの非集約データローダは、分散トレーニングで必要とされるバッチレベルのセマンティクスを表現できないレコード/オフセットの抽象化で動作します。 ブローカレスでオブジェクトストアネイティブなトレーニングデータプレーンであるLakestreamについて紹介する。 まず、トランザクショナルグローバルバッチ(TGB)を導入し、レイクハウススタイルのACIDストレージセマンティクスに基づいて、アトミックなオールランクバッチの可視性、グローバルに順序付けられたステップシーケンス、チェックポイント整列ライフサイクル管理、エンドツーエンドの正確に1回のリカバリなど、トレーニング固有の一貫性で拡張する。 第2に、マニフェスト中のプロデューサ状態をインライン化し、分散チェックポイント状態にタイリングすることで、ストレージ層に直接のリカバリと保持を実現する。 第3に、分散適応コミット(DAC)アルゴリズムは、プロデューサ間通信を使わずに、マニフェストが大きくなるにつれて安定した取り込みスループットを維持する。 64GPUを使用した大規模マルチモーダル事前トレーニングとSFTワークロードの評価によると、Lakestreamは、完全な障害分離を提供しながら、コロケーションされたデータローダのスループットを上回り、Apache Kafkaの取り込みスループットを上回り、Kafkaよりもコンシューマの読み取りレイテンシを低くする。

関連論文リスト

• Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale [12.736059967085025]
  現代のディープラーニング勧告モデル(DLRM)は、シーケンス長のスケーリング法則に従う。 Fat Row"パラダイムは、これらのシーケンスをトレーニングのすべての例にプリマテリアル化し、ストレージとI/Oウォールを作成します。 本稿では、UIHを正規化不変層に一度保存することで、この冗長性を解消するエンバージョン遅延物質化パラダイムを提案する。
  論文  参考訳（メタデータ） (2026-04-27T06:41:39Z)
• SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
  分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。 重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。 実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
  論文  参考訳（メタデータ） (2026-03-03T23:51:10Z)
• Pull Requests as a Training Signal for Repo-Level Code Editing [49.82435173554125]
  Clean Pull Request(Clean-PR)は、現実のGitHubプルリクエストをリポジトリレベルの編集のトレーニングシグナルとして活用する、トレーニング中のパラダイムである。 ノイズの多いプルリクエストの差分を,再構築と検証を通じて検索/リプレース編集ブロックに変換する,スケーラブルなパイプラインを導入する。 SWE-benchでは,SWE-bench Liteが13.6%,SWE-bench Verifiedが12.3%,命令調整ベースラインが大幅に向上した。
  論文  参考訳（メタデータ） (2026-02-07T09:22:25Z)
• Nimbus: A Unified Embodied Synthetic Data Generation Framework [51.55989844555466]
  データボリュームと多様性のスケーリングは、インボディードインテリジェンスを一般化するために重要である。 我々は、異種ナビゲーションと操作パイプラインを統合するために設計された統合合成データ生成フレームワークであるNimbusを紹介する。 評価の結果,Nimbusは最適化されていないベースラインに比べてエンドツーエンドのスループットが2～3倍向上していることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T09:27:31Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• The Streaming Batch Model for Efficient and Fault-Tolerant Heterogeneous Execution [28.768566833298365]
  異種バッチ推論パイプラインのスループットを2.5～12$times$で向上するストリーミングバッチシステムであるRay Dataを紹介します。 Ray Dataは、シングルノードMLデータローダと比較して、安定拡散のようなマルチモーダルモデルのトレーニングスループットを31%改善する。
  論文  参考訳（メタデータ） (2025-01-16T19:54:01Z)
• TensAIR: Real-Time Training of Neural Networks from Data-streams [1.409180142531996]
  本稿では,ANNをリアルタイムにトレーニングする最初のOLシステムであるTensAIRについて述べる。 TensAIRは、分散化および非同期アーキテクチャを使用してANNモデルをトレーニングすることで、優れたパフォーマンスとスケーラビリティを実現する。 我々は、(1)ネットワークにデプロイされたワーカノードの数、(2)データバッチが到着するスループットの観点から、TensAIRがほぼ線形なスケールアウト性能を達成することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-18T15:11:44Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• How Well Self-Supervised Pre-Training Performs with Streaming Data? [73.5362286533602]
  ストリーミング形式でデータが収集される現実のシナリオでは、ジョイントトレーニングスキームは通常、ストレージ重大で時間を要する。 ストリーミングデータでどのように連続的な自己監督プリトレーニングが実行されるかは不明です。 ストリーミングデータ内の分散シフトが軽度である場合,逐次自己教師付き学習は共同学習とほぼ同等の性能を示す。
  論文  参考訳（メタデータ） (2021-04-25T06:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。