論文の概要: Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.24133v1
• Date: Tue, 23 Jun 2026 04:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.763638
• Title: Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning
• Title（参考訳）: 多目的強化学習によるLLM事前学習のためのホロスティックデータスケジューリング
• Authors: Chenhao Dang, Jing Ma, Mingjie Liao,
• Abstract要約: 我々は,新しいオンラインデータミキシングフレームワークであるHolistic Data Scheduler (HDS)を紹介した。 HDSは、連続的な制御空間における強化学習問題として、データスケジューリングの課題を定式化している。 品質に対するデータ駆動報酬、ドメイン間の影響を捉えた損失駆動報酬、重量ノルムに基づくモデル駆動報酬を統合する。
• 参考スコア（独自算出の注目度）: 7.431998098521794
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The composition of training data, governed by the diversity of sources and their mixing strategy, is a cornerstone of Large Language Model (LLM) pre-training. Online Data Mixing (ODM), the technique of adaptively adjusting data mixtures during training, has emerged as a promising direction to improve efficiency. However, existing methods are constrained by their reliance on a singular optimization perspective, which fundamentally overlooks the need for complex LLM pre-training to consider the dynamic data composition from multiple dimensions. To overcome this limitation, we introduce the Holistic Data Scheduler (HDS), a novel online data mixing framework. HDS formulates the data scheduling challenge as a reinforcement learning problem in a continuous control space and leverages the Soft Actor-Critic (SAC) algorithm for its stability and sample efficiency in exploring the high-dimensional policy space. At the core of HDS lies a novel multi-objective, holistic reward function that integrates three critical perspectives: a data-driven reward for quality, a loss-driven reward capturing inter-domain influence, and a model-driven reward based on weight norms. To validate our design and determine its optimal configuration, we conducted systematic experiments on LLMs of various sizes. On The Pile benchmark, HDS reaches the final validation perplexity of the next best method with 44% fewer training iterations. Furthermore, it achieves a 7.2% improvement on the MMLU 0-shot task along with consistent gains on other benchmarks, showcasing its ability to enhance both training efficiency and final model capability.
• Abstract（参考訳）: 情報源の多様性と混合戦略によって管理される学習データの構成は,Large Language Model(LLM)事前学習の基礎となる。 トレーニング中にデータミキシングを適応的に調整する技術であるオンラインデータミキシング(ODM)が,効率向上のための有望な方向として登場した。 しかし、既存の手法は特異な最適化の観点に依存しているため、複数の次元から動的データを構成することを考慮し、複雑なLCM事前学習の必要性を根本的に見落としている。 この制限を克服するために、新しいオンラインデータミキシングフレームワークであるHolistic Data Scheduler(HDS)を紹介します。 HDSは、データスケジューリングの課題を連続的な制御空間における強化学習問題として定式化し、その安定性と高次元ポリシー空間の探索におけるサンプル効率のためにソフトアクター・クリティカル(SAC)アルゴリズムを利用する。 HDSの中核には、データ駆動型品質報酬、ドメイン間の影響を捉える損失駆動型報酬、重量ノルムに基づくモデル駆動型報酬という、3つの重要な視点を統合した、多目的で全体的な報酬機能がある。 設計を検証し, 最適構成を決定するため, 様々な大きさのLCMについて系統実験を行った。 Pileベンチマークでは、HDSが次のベストメソッドの最終的な検証に到達し、44%のトレーニングイテレーションが削減された。 さらに、MMLUの0ショットタスクを7.2%改善し、他のベンチマークで一貫したゲインを達成し、トレーニング効率と最終モデル能力の両方を向上させる能力を示している。

関連論文リスト

• DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models [51.48564522455171]
  LLaMA-Factory上に構築されたデータ中心の動的トレーニングフレームワークであるDataFlexを紹介します。 DataFlexは、サンプル選択、ドメイン混合調整調整、データ再重み付けという、動的なデータ最適化の3つの主要なパラダイムをサポートします。 トレーナーの抽象化とモジュールコンポーネントを提供し、標準のLLMトレーニングをドロップインで置き換えることを可能にする。
  論文  参考訳（メタデータ） (2026-03-27T08:28:02Z)
• Data Mixing for Large Language Models Pretraining: A Survey and Outlook [52.66761353708619]
  大規模言語モデル(LLM)は、大規模で不均一なコーパスの事前訓練に依存している。 サンプルレベルのデータ選択とは異なり、データミキシングはドメインレベルのサンプリング重量を最適化し、限られた予算をより効率的に割り当てる。 本稿では,LLM事前学習におけるデータ混合の総合的な検討について述べる。
  論文  参考訳（メタデータ） (2026-03-25T13:30:40Z)
• Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
  オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。 オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。 オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
  論文  参考訳（メタデータ） (2025-09-01T10:04:20Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment [29.703775936837012]
  大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。 複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。 混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化する革新的なデータ平衡フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T06:42:44Z)
• ToReMi: Topic-Aware Data Reweighting for Dynamic Pre-Training Data Selection [28.75333303894706]
  ToReMiは、トピックの関連や観察された学習パターンに応じてトレーニングサンプル重量を調整する新しいフレームワークである。 実験の結果,ToReMiの変種は従来の事前学習手法よりも優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-04-01T12:06:42Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。