論文の概要: DARTS: Distribution-Aware Active Rollout Trajectory Shaping for Accelerating LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.30859v1
• Date: Fri, 29 May 2026 05:31:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.403463
• Title: DARTS: Distribution-Aware Active Rollout Trajectory Shaping for Accelerating LLM Reinforcement Learning
• Title（参考訳）: DARTS: LLM強化学習の高速化のための分布認識型アクティブロールアウト軌道整形
• Abstract要約: ロングテール応答長分布はロールアウト効率のボトルネックを引き起こす。 本稿では, ロールアウト分布を簡潔かつ確実性に形成するための, アクティブな分布形状の新たなパラダイムを提案する。 実験では、モデル性能を損なうことなく、最先端システムに対して最大1.77倍の加速を示す。
• 参考スコア（独自算出の注目度）: 29.30264731952501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) has become pivotal for improving model capabilities yet suffers from rollout efficiency bottlenecks due to the long-tail response length distribution. While existing works mitigate the impact of long tails via prompt-level tail scheduling, we focus on the root source of inefficiency: the distribution itself. Specifically, we characterize the long-tail distribution at a finer granularity, identifying intra-prompt long tails, and revealing that they frequently consist of ineffective verbosity. To address this, we propose a novel paradigm of active distribution shaping to shape the rollout distribution towards conciseness and certainty, thereby fundamentally resolving tail-induced overheads. We achieve this through a distribution-aware trajectory sampling mechanism, which selects trajectories from a redundant exploration space for each prompt, and an adaptive redundancy allocation scheme to maximize both shaping effectiveness and system efficiency. Experiments demonstrate significant acceleration over state-of-the-art systems by up to 1.77x without compromising model performance.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, 長期応答長分布によるロールアウト効率のボトルネックに悩まされているが, モデル能力向上の鍵となっている。 既存の作業は、プロンプトレベルのテールスケジューリングによるロングテールの影響を緩和しますが、非効率の根源である分布そのものに焦点を当てます。 具体的には、より粒度の細かい長い尾の分布を特徴付け、プロンプト内の長い尾を識別し、それらがしばしば非効率な冗長性から構成されていることを明らかにする。 これを解決するために,本研究では,ロールアウト分布を簡潔かつ確実性に整形し,テールが引き起こすオーバーヘッドを根本的に解消する,アクティブ分布形状の新たなパラダイムを提案する。 本研究では,各プロンプトに対して冗長な探索空間からトラジェクトリを選択する分散対応トラジェクトリサンプリング機構と,整形効率とシステム効率の両方を最大化するための適応冗長割当方式によりこれを実現した。 実験では、モデル性能を損なうことなく、最先端システムに対して最大1.77倍の加速を示す。

関連論文リスト

• Accelerating Speculative Diffusions via Block Verification [77.23389794645801]
  投機的復号化は、トークンを生成するためにドラフトモデルを使用することでLLM推論を高速化する。 既存の拡散適応は非効率的なサンプリング技術を使うか、代替のスキームに依存する。 本稿では,拡散モデルに対して,従来の投機的サンプリング機構を効率的に実装する新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-06-11T14:54:13Z)
• TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment [52.570581883709345]
  本稿では,報酬を人間レベルの報酬分布マッチングに置き換えるトラジェクティブマッチングポリシバランス最適化(TMPO)を提案する。 TMPOは最先端の手法に対する生成的多様性を9.1%向上させ、下流および効率の指標で競合性能を達成する。 大規模フロープレフィックスのマルチトラックトレーニング時間を短縮するため、TMPOはDynamic Tree Smplingモデルを導入し、動的にスケジュールされたステップでトラジェクトリがdenoisingとブランチを共有する。
  論文  参考訳（メタデータ） (2026-05-09T04:41:02Z)
• Causal Autoregressive Diffusion Language Model [70.7353007255797]
  CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。 我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-29T17:38:29Z)
• Anti-Length Shift: Dynamic Outlier Truncation for Training Efficient Reasoning Models [29.56923793047279]
  本稿では,冗長トークンを選択的に抑制する訓練時間介入であるDynamic Outlier Truncation(DOT)を紹介する。 DOTは、完全に正しいロールアウトグループ内での応答長の極端のみを目標とし、長い水平推論能力を保っている。 提案手法は,初期ポリシーに比べて精度を高くしながら,推論トークンの使用率を78%削減する。
  論文  参考訳（メタデータ） (2026-01-07T14:31:07Z)
• Beat the long tail: Distribution-Aware Speculative Decoding for RL Training [75.75462952580796]
  モデル出力を変更することなくRLロールアウトを高速化する分散Aware Speculativeデコーディングフレームワークを提案する。 数学とコード推論タスクの実験は、DASが同一のトレーニング曲線を保ちながらロールアウト時間を最大50%短縮することを示している。
  論文  参考訳（メタデータ） (2025-11-17T19:02:12Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• VARD: Efficient and Dense Fine-Tuning for Diffusion Models with Value-based RL [28.95582264086289]
  VAlue-based Reinforced Diffusion (VARD) は、中間状態から報酬の期待を予測する値関数を初めて学習する新しい手法である。 提案手法は,バックプロパゲーションによる効果的な,安定したトレーニングを可能にしつつ,事前訓練されたモデルに近づき続ける。
  論文  参考訳（メタデータ） (2025-05-21T17:44:37Z)
• Diffusion Models as Optimizers for Efficient Planning in Offline RL [47.0835433289033]
  拡散モデルはオフラインの強化学習タスクにおいて強い競争力を示している。 本稿では,より高速な自己回帰モデルを提案する。 これにより、能力を犠牲にすることなく、より効率的な計画を達成することができます。
  論文  参考訳（メタデータ） (2024-07-23T03:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。