論文の概要: Quality Determines Direction, Length Shapes Magnitude: Length Control for Open-Ended Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.34718v1
- Date: Mon, 28 Sep 2026 09:25:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 03:27:16.640245
- Title: Quality Determines Direction, Length Shapes Magnitude: Length Control for Open-Ended Reinforcement Learning
- Title（参考訳）: 品質決定の方向, 長さはマグニチュード: オープンエンディング強化学習のための長さ制御
- Abstract要約: 品質は補強方向を決定するべきであるが、長さはその大きさだけを形作るべきである。
この原理をQGLAS(Quality-Gated Length Advantage Shaping)を用いてインスタンス化する。
- 参考スコア（独自算出の注目度）: 39.452580553183935
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) changes not only what language models say, but also how much they say, often increasing response length at the cost of token efficiency. Controlling this length growth is particularly challenging in open-ended RL because (i) response length is entangled with quality, (ii) open-ended tasks lack a natural success boundary for deciding when efficiency should be prioritized, and (iii) dense, graded rewards often yield small within-group quality margins, making quality-induced advantages especially sensitive to reward-level length shaping, which can perturb their magnitudes and even reverse their signs. We therefore adopt an asymmetric principle: quality should determine the direction of reinforcement, while length should only shape its magnitude. We instantiate this principle with Quality-Gated Length Advantage Shaping (QGLAS), which first computes advantages from quality rewards alone, then adds bounded bonuses only to shorter positive-advantage responses, leaving all other advantages unchanged. The bonus strength is further adapted to within-group quality separation, allowing conciseness to matter more when quality-favored responses are similar and less when their quality differences are clear. Across different model families, open-ended benchmarks, and reward sources, QGLAS consistently achieves a stronger quality--length trade-off than representative baselines. At approximately 30% compression, QGLAS retains 98.4--102.0% of the macro-average quality gains achieved by quality-only RL over the base model, compared with 68.3--75.5% for these baselines at comparable compression.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、言語モデルが何を言っているかだけでなく、その言葉の量も変化します。
この長さ成長を制御することは、オープンエンドRLでは特に難しい。
(i)応答長は品質に絡み合っている。
(二 効率を優先すべき時期を決定するための自然の成功境界が欠如していること。)
第三に、厳密で格付けされた報酬は、しばしばグループ内の品質マージンを小さくし、特に報酬レベルの長大化に敏感に品質に起因し、その大きさを乱したり、記号を逆にしたりすることができる。
したがって、我々は非対称な原理を採用する:品質は強化の方向を決定するべきであるが、長さはその大きさだけを形作るべきである。
この原理をQGLAS(Quality-Gated Length Advantage Shaping)でインスタンス化します。
ボーナス強度は、グループ内の品質分離にさらに適応し、品質の相違が明確である場合には、品質に好意的な応答が類似している場合に、簡潔さがより重要となる。
異なるモデルファミリ、オープンエンドベンチマーク、報酬源の他、QGLASは、代表ベースラインよりも長いトレードオフを一貫して達成している。
約30%の圧縮で、QGLASは98.4-102.0%のマクロ平均品質をベースモデルよりも高め、68.3-75.5%と同等の圧縮で維持する。
関連論文リスト
- Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning [74.5532558466687]
群 Relative Reward Rescaling (GR$3$) は、一般的な、連続かつ報酬に依存したゲーティング機構である。
GR$3$は、標準のGRPOに匹敵するトレーニングダイナミクスとダウンストリームのパフォーマンスを維持する。
それは長さのインフレーションを著しく軽減し、最先端の長周期正規化ベースラインを上回ります。
論文 参考訳（メタデータ） (2026-03-11T08:41:34Z) - A Multi-Dimensional Quality Scoring Framework for Decentralized LLM Inference with Proof of Quality [2.621929201001929]
出力品質をモジュラー次元に分解する多次元品質評価フレームワークを提案する。
一見合理的な次元はタスク依存であり、校正なしで基準品質と負の相関があることを示す。
論文 参考訳（メタデータ） (2026-03-04T13:05:46Z) - R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging [69.96389360650072]
解析精度は, 標準ラベルの精度を超えて, 下流RLHFの結果を高い精度で予測できることが示される。
我々は,金の判断でトレーニングを増強し,合理的アライメントを明示的に監督するR-Alignを提案する。
論文 参考訳（メタデータ） (2026-02-06T15:17:11Z) - PreResQ-R1: Towards Fine-Grained Rank-and-Score Reinforcement Learning for Visual Quality Assessment via Preference-Response Disentangled Policy Optimization [12.993619998545633]
PreResQ-R1はPreference-Response Disentangled Reinforcement Learningフレームワークである。
1つの推論駆動最適化スキームにおいて絶対スコア回帰と相対ランク一貫性を統一する。
10 IQA と 5 VQA のベンチマークにおいて、SRCC と PLCC のメトリクスで最先端の結果を得る。
論文 参考訳（メタデータ） (2025-11-07T16:19:50Z) - Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。
エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2025-09-28T16:33:07Z) - MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。
我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。
数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
論文 参考訳（メタデータ） (2025-09-25T14:58:29Z) - ACE-RL: Adaptive Constraint-Enhanced Reward for Long-form Generation Reinforcement Learning [17.798384102961695]
本稿では,長期化強化学習(ACE-RL)のための適応制約強化報酬を用いたフレームワークを提案する。
ACE-RLはまず、各命令を細粒度で適応的な制約基準のセットに自動的に分解する。
そこで我々は,対応する制約に対する満足度に基づいて,長文応答の質を定量化する報奨機構を設計する。
論文 参考訳（メタデータ） (2025-09-05T08:21:41Z) - Jointly Reinforcing Diversity and Quality in Language Model Generations [64.72289248044514]
大規模言語モデル(LM)のポストトレーニングは、しばしば多様性を犠牲にして正確さと役に立つことを優先する。
DARling(Diversity-Aware Reinforcement Learning)は、応答品質とセマンティック多様性を協調的に最適化するフレームワークである。
論文 参考訳（メタデータ） (2025-09-02T17:38:47Z) - Stable Reinforcement Learning for Efficient Reasoning [2.838966689544288]
GRPO-$lambda$ は GRPO の効率的で安定な変種である。
正当率を監視して報酬戦略を動的に調整する。
平均精度は1.48%向上し、CoT配列の長さは47.3%削減された。
論文 参考訳（メタデータ） (2025-05-23T16:43:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。