論文の概要: Mitigating the Length-Scaling Tax with Online Distillation

• arxiv url: http://arxiv.org/abs/2609.38854v1
• Date: Wed, 30 Sep 2026 03:11:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.067753
• Title: Mitigating the Length-Scaling Tax with Online Distillation
• Title（参考訳）: オンライン蒸留による長尺化税の緩和
• Abstract要約: 強化学習後のトレーニング中の長さのスケーリングは、特に困難な問題において、推論能力の向上の兆候であると見なされることが多い。 我々は,この副作用をLST(Long-scaling Tax)として定量化する。 本稿では, 未解決のプロンプトに対する本来のRL目標を維持できるLongth Self-Distillation (LSD)を提案する。
• 参考スコア（独自算出の注目度）: 26.19826687249015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Length scaling during reinforcement-learning (RL) post-training is often viewed as a sign of improved reasoning ability, especially on difficult problems, but may also make responses to already-solved problems unnecessarily verbose. We quantify this side effect as the length-scaling tax (LST): excess response length on already-solved queries without a commensurate accuracy gain. To mitigate LST, we propose Length Self-Distillation (LSD), which routes solved prompts to on-policy distillation and retains the original RL objective for unsolved prompts. LSD uses an exponential moving average of the online policy as its teacher, requiring no external model. We find that LSD achieves comparable or better performance than RL across multiple variants, while substantially curbing response-length growth on easy queries. LSD reduces LST from 19.0% to -3.7% on single-turn reasoning and from 31.4% to 13.7% on multi-turn agentic tasks, demonstrating that LSD effectively preserves concise response patterns on easy queries while supporting efficient exploration on difficult queries during RL post-training.
• Abstract（参考訳）: 強化学習(RL)後トレーニング中の長さのスケーリングは、特に困難な問題において、推論能力の向上の兆候と見なされることが多いが、すでに解決されている問題に対する応答も不要に冗長になる可能性がある。 我々は,この副作用をLST(Long-scaling Tax)として定量化する。 LSTを緩和するために,Longth Self-Distillation (LSD)を提案する。 LSDは、オンラインポリシーの指数的な移動平均を教師として使用し、外部モデルを必要としない。 LSDは複数の変種にまたがってRLと同等あるいは優れた性能を実現し,応答長の増大を著しく抑制できることがわかった。 LSDはシングルターン推論で19.0%から3.7%、マルチターンエージェントタスクで31.4%から13.7%に減少し、LCDは簡単なクエリで簡潔な応答パターンを効果的に保存し、RL後トレーニングで難しいクエリの効率的な探索を支援することを示した。

関連論文リスト

• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• LoongRL: Reinforcement Learning for Advanced Reasoning over Long Contexts [21.07202581368365]
  より進んだ長文推論のためのデータ駆動型RL法であるLoongRLを紹介する。 KeyChainは、短いマルチホップQAを高微分長文タスクに変換する合成手法である。 Qwen2.5-7Bと14Bでは、LongRLは長文マルチホップQAの精度を+23.5%、+21.1%向上させる。
  論文  参考訳（メタデータ） (2025-10-22T08:35:28Z)
• DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning [134.03095505580276]
  Doing Length pEnalty Right (DLER)は、バッチワイド報酬正規化、高いクリッピング、ダイナミックサンプリング、単純なトランケーション長ペナルティを組み合わせたトレーニングレシピである。 DLERは最先端の精度-効率のトレードオフを実現し、出力長を70%以上削減し、以前のベースライン精度をすべて上回っている。
  論文  参考訳（メタデータ） (2025-10-16T20:05:57Z)
• How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning [6.92510069380188]
  8つの推論課題におけるSFTとRLのダイナミクスについて検討する。 ウォームアップとしてSFTで使用される短いCoT配列は、コールドスタートRLと比較してRLトレーニングに適度に寄与する。 バックトラックの長いCoTは、一般的にRLトレーニングをより良く安定したものにします。
  論文  参考訳（メタデータ） (2025-05-30T06:49:00Z)
• Efficient RL Training for Reasoning Models via Length-Aware Optimization [104.97188611117353]
  大規模推論モデルの強化学習プロセスに直接統合された3つの重要な報酬設計を提案する。 本手法は, 性能を維持・改善しながら, 応答長を著しく低減する。
  論文  参考訳（メタデータ） (2025-05-18T07:46:43Z)
• ODIN: Disentangled Reward Mitigates Hacking in RLHF [127.35607931337019]
  本稿では,人間からの強化学習に現れる課題である,応答長に基づく報酬ハッキングの課題について検討する。 LLMからの十分に整形された冗長な応答は、高いスコアを得るためにLLMや人間の評価者を騙すことがしばしばある。 提案手法は, 報酬と長さの相関をほぼ排除し, 得られた政策を有意なマージンで改善する。
  論文  参考訳（メタデータ） (2024-02-11T22:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。