論文の概要: BatchWeave: A Consistent Object-Store-Native Data Plane for Large Foundation Model Training

• arxiv url: http://arxiv.org/abs/2605.09994v2
• Date: Fri, 15 May 2026 02:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:25.936115
• Title: BatchWeave: A Consistent Object-Store-Native Data Plane for Large Foundation Model Training
• Title（参考訳）: BatchWeave: 大規模ファンデーションモデルトレーニングのための一貫性のあるオブジェクト-Store-Nativeデータプレーン
• Abstract要約: BatchWeaveは、分散FMトレーニングのためのオブジェクトストアネイティブなトレーニングデータプレーンである。 バージョン管理されたマニフェストと条件付きオブジェクト書き込みを実装し、バッチパブリッシュ、リカバリ、ライフサイクル管理を調整する。 完全な障害分離を提供し、Apache Kafkaの取り込みスループットを上回り、Kafkaよりもコンシューマの読み取りレイテンシを低くする。
• 参考スコア（独自算出の注目度）: 13.09314762856332
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Large Foundation Model (LFM) training has transformed the data pipeline from a static ingestion layer into a dynamic component that must co-evolve with the training process. Existing systems are ill-equipped: colocated dataloaders offer no failure isolation, while message queue-based disaggregated dataloaders operate on a record/offset abstraction that cannot express the batch-level semantics required by distributed training. We present BatchWeave, an object-store-native training data plane for distributed LFM training. BatchWeave uses versioned manifests and conditional object writes to coordinate batch publication, recovery, and lifecycle management. First, it introduces the Transactional Global Batch (TGB), which builds on versioned-manifest ACID storage semantics and extends them with training-specific consistency, including atomic all-rank batch visibility, a globally ordered step sequence, checkpoint-aligned lifecycle management, and end-to-end exactly-once recovery. Second, it realizes recovery and retention directly in the storage layer, by durably persisting producer state through the commit protocol and tying reclamation to distributed checkpoint state. Third, its Decentralized Adaptive Commit (DAC) algorithm sustains stable ingestion throughput as the manifest grows, without any inter-producer communication. Evaluations on large-scale multimodal pre-training and SFT workloads using 64 GPUs show that BatchWeave outperforms colocated dataloader throughput while providing full failure isolation, outperforms Apache Kafka in ingestion throughput, and achieves lower consumer read latency than Kafka.
• Abstract（参考訳）: Modern Large Foundation Model(LFM)トレーニングは、データパイプラインを静的な取り込み層から、トレーニングプロセスと共進化しなければならない動的コンポーネントに変換する。 メッセージキューベースの非集約データローダは、分散トレーニングで必要とされるバッチレベルのセマンティクスを表現できないレコード/オフセットの抽象化で動作します。 分散LFMトレーニングのためのオブジェクトストアネイティブトレーニングデータプレーンであるBatchWeaveを提案する。 BatchWeaveでは、バージョン付きのマニフェストと条件付きオブジェクト書き込みを使用して、バッチパブリッシュ、リカバリ、ライフサイクル管理を調整する。 まず、トランザクショングローバルバッチ(TGB)を導入し、バージョン管理されたACIDストレージセマンティクスに基づいて、アトミックなオールランクバッチ可視性、グローバルに順序付けられたステップシーケンス、チェックポイント整合ライフサイクル管理、エンドツーエンドの正確に1回のリカバリなど、トレーニング固有の一貫性で拡張する。 第2に、コミットプロトコルを介してプロデューサ状態を永続的に保持し、分散チェックポイント状態にタイリングすることで、ストレージ層に直接のリカバリと保持を実現する。 第3に、分散適応コミット(DAC)アルゴリズムは、プロデューサ間通信を使わずに、マニフェストが大きくなるにつれて安定した取り込みスループットを維持する。 64GPUを使用した大規模マルチモーダル事前トレーニングとSFTワークロードの評価によると、BatchWeaveは、完全な障害分離を提供しながら、コロケーションされたデータローダのスループットを上回り、Apache Kafkaの取り込みスループットを上回り、Kafkaよりもコンシューマの読み取りレイテンシを低くする。

関連論文リスト

• FedCVESA: Taking Away Training Data in Federated Learning via Correlation Value Encoding and Segmented Aggregation [13.470122153087011]
  悪意のあるトレーニングは、深層モデルの記憶能力を悪用し、トレーニングデータを保存し、後に回復する可能性がある。 我々は、悪意のあるサーバが参加するクライアントからn個のターゲットクライアントを選択し、グローバルモデルにプライベートトレーニングデータを積極的に書き込む、ホワイトボックスのTATD攻撃について検討する。 実験により,提案手法は訓練されたモデルから意味論的に意味のあるプライベートトレーニング画像を盗むことができることがわかった。
  論文  参考訳（メタデータ） (2026-07-08T11:55:00Z)
• FlowTrain: Flow-Based Decoupled Training for Industrial-Grade Vision-Language Models [31.501910341506164]
  FlowTrainは、視覚言語計算モデルのためのフローベースの分離されたトレーニングフレームワークである。 VLMトレーニングを、統一メモリプールを介して調整されたプロデューサとコンシューマのデータフローとして再構成する。 実世界のワークロードの実験では、FlowTrainは50%MFU以上、最大1.7倍のスループット改善を実現している。
  論文  参考訳（メタデータ） (2026-06-22T09:33:44Z)
• Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale [12.736059967085025]
  現代のディープラーニング勧告モデル(DLRM)は、シーケンス長のスケーリング法則に従う。 Fat Row"パラダイムは、これらのシーケンスをトレーニングのすべての例にプリマテリアル化し、ストレージとI/Oウォールを作成します。 本稿では、UIHを正規化不変層に一度保存することで、この冗長性を解消するエンバージョン遅延物質化パラダイムを提案する。
  論文  参考訳（メタデータ） (2026-04-27T06:41:39Z)
• SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
  分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。 重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。 実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
  論文  参考訳（メタデータ） (2026-03-03T23:51:10Z)
• Pull Requests as a Training Signal for Repo-Level Code Editing [49.82435173554125]
  Clean Pull Request(Clean-PR)は、現実のGitHubプルリクエストをリポジトリレベルの編集のトレーニングシグナルとして活用する、トレーニング中のパラダイムである。 ノイズの多いプルリクエストの差分を,再構築と検証を通じて検索/リプレース編集ブロックに変換する,スケーラブルなパイプラインを導入する。 SWE-benchでは,SWE-bench Liteが13.6%,SWE-bench Verifiedが12.3%,命令調整ベースラインが大幅に向上した。
  論文  参考訳（メタデータ） (2026-02-07T09:22:25Z)
• Nimbus: A Unified Embodied Synthetic Data Generation Framework [51.55989844555466]
  データボリュームと多様性のスケーリングは、インボディードインテリジェンスを一般化するために重要である。 我々は、異種ナビゲーションと操作パイプラインを統合するために設計された統合合成データ生成フレームワークであるNimbusを紹介する。 評価の結果,Nimbusは最適化されていないベースラインに比べてエンドツーエンドのスループットが2～3倍向上していることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T09:27:31Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• The Streaming Batch Model for Efficient and Fault-Tolerant Heterogeneous Execution [28.768566833298365]
  異種バッチ推論パイプラインのスループットを2.5～12$times$で向上するストリーミングバッチシステムであるRay Dataを紹介します。 Ray Dataは、シングルノードMLデータローダと比較して、安定拡散のようなマルチモーダルモデルのトレーニングスループットを31%改善する。
  論文  参考訳（メタデータ） (2025-01-16T19:54:01Z)
• CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance [23.125185494897522]
  有望な分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、AIoT(Artificial Intelligence of Things)アプリケーションで広く採用されている。 FLの効率性と推論能力は、トラグラーの存在と大規模なAIoTデバイス間のデータの不均衡により、著しく制限されている。 本稿では,階層型キャッシュベースのアグリゲーション機構と機能バランス誘導型デバイス選択戦略を含む,CaBaFLという新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-19T12:39:11Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• TensAIR: Real-Time Training of Neural Networks from Data-streams [1.409180142531996]
  本稿では,ANNをリアルタイムにトレーニングする最初のOLシステムであるTensAIRについて述べる。 TensAIRは、分散化および非同期アーキテクチャを使用してANNモデルをトレーニングすることで、優れたパフォーマンスとスケーラビリティを実現する。 我々は、(1)ネットワークにデプロイされたワーカノードの数、(2)データバッチが到着するスループットの観点から、TensAIRがほぼ線形なスケールアウト性能を達成することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-18T15:11:44Z)
• RecD: Deduplication for End-to-End Deep Learning Recommendation Model Training Infrastructure [3.991664287163157]
  RecDは、産業規模のDLRMトレーニングデータセットに固有の機能の重複に起因する膨大なストレージ、前処理、トレーニングオーバーヘッドに対処する。 本稿では,産業規模のDLRMトレーニングシステムにおいて,RecDが最大2.48倍,1.79倍,3.71倍のスループットとストレージ効率を向上させる方法を示す。
  論文  参考訳（メタデータ） (2022-11-09T22:21:19Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• How Well Self-Supervised Pre-Training Performs with Streaming Data? [73.5362286533602]
  ストリーミング形式でデータが収集される現実のシナリオでは、ジョイントトレーニングスキームは通常、ストレージ重大で時間を要する。 ストリーミングデータでどのように連続的な自己監督プリトレーニングが実行されるかは不明です。 ストリーミングデータ内の分散シフトが軽度である場合,逐次自己教師付き学習は共同学習とほぼ同等の性能を示す。
  論文  参考訳（メタデータ） (2021-04-25T06:56:48Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。