Fugu-MT 論文翻訳(概要): QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization

論文の概要: QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization

arxiv url: http://arxiv.org/abs/2607.21793v1
Date: Thu, 23 Jul 2026 20:20:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 20:58:56.995675
Title: QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization
Title（参考訳）: QLPO: 長さ認識ポリシー最適化のためのクアドラント重み付きサンプリング
Abstract要約: 本稿では,報酬関数を変更せずに暗黙長制御を導入するGRPOの単純な再サンプリングに基づく変種を提案する。 QLPOは1.5Bから32Bパラメータのモデル間の精度-長のトレードオフを一貫して改善する。これらの結果は、構造的再サンプリングが効率的な推論に効果的で堅牢なアプローチをもたらすことを示唆している。
参考スコア（独自算出の注目度）: 24.184762145941264
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent large reasoning models often develop long chain-of-thought responses during reinforcement learning (RL), resulting in high inference latency and deployment cost. Existing methods for response length control typically rely on explicit length penalties or additional control modules, which require careful tuning and may compromise reasoning quality. We propose Quadrant-weighted Sampling for Length-aware Policy Optimization (QLPO), a simple resampling-based variant of GRPO that introduces implicit length control without modifying the reward function. QLPO first over-generates candidate responses and then resamples the training group by preserving the empirical correct/incorrect ratio while favoring short correct responses and long incorrect responses. This reshapes the training distribution and implicitly encourages shorter model outputs. Across models ranging from 1.5B to 32B parameters, including both base models and strong reasoning models, QLPO consistently improves the accuracy-length trade-off. It reduces response length by 30% to 70% while preserving reasoning performance. These results suggest that structured resampling provides an effective and robust approach to efficient reasoning.
Abstract（参考訳）: 最近の大規模推論モデルでは、強化学習(RL)中に長い連鎖反応が生じ、高い推論遅延とデプロイメントコストが発生する。応答長制御の既存の方法は通常、明確な長さのペナルティや追加の制御モジュールに依存しており、注意深いチューニングが必要であり、推論の品質を損なう可能性がある。報酬関数を変更せずに暗黙長制御を導入するGRPOの単純な再サンプリングに基づく変種であるQLPO(Quadrant-weighted Smpling for Length-aware Policy Optimization)を提案する。 QLPOはまず、候補応答を過剰に生成し、続いて経験的正誤比を保ちながら、短い正誤応答と長い誤応答を好んでトレーニンググループを再サンプリングする。これによりトレーニングディストリビューションが再評価され,モデル出力の短縮が暗黙的に促進される。ベースモデルと強力な推論モデルの両方を含む1.5Bから32Bパラメータまで、QLPOは一貫して精度と長所のトレードオフを改善している。応答長を30%から70%削減し、推論性能を保っている。これらの結果は、構造的再サンプリングが効率的な推論に効果的で堅牢なアプローチをもたらすことを示唆している。

関連論文リスト

Stabilizing Efficient Reasoning with Step-Level Advantage Selection [54.563811052329235]
我々は,長さを意識しない標準のGRPOを用いて,短文のポストトレーニング単独で,すでにかなりの推理圧縮を誘導していることを示す。そこで本稿では, 適切なロールアウトにおける低信頼度ステップと, 検証済みロールアウトにおける高信頼度ステップにゼロアドバンテージを割り当てるステップレベルアドバンテージ選択(SAS)を提案する。
論文参考訳（メタデータ） (2026-04-27T03:34:59Z)
Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning [74.5532558466687]
群 Relative Reward Rescaling (GR$3$) は、一般的な、連続かつ報酬に依存したゲーティング機構である。 GR$3$は、標準のGRPOに匹敵するトレーニングダイナミクスとダウンストリームのパフォーマンスを維持する。それは長さのインフレーションを著しく軽減し、最先端の長周期正規化ベースラインを上回ります。
論文参考訳（メタデータ） (2026-03-11T08:41:34Z)
Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文参考訳（メタデータ） (2026-03-04T14:48:53Z)
Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文参考訳（メタデータ） (2026-02-27T20:23:59Z)
APR: Penalizing Structural Redundancy in Large Reasoning Models via Anchor-based Process Rewards [61.52322047892064]
テスト時間スケーリング(TTS)は、Large Reasoning Models(LRM)の機能を大幅に強化した。我々は, LRM が推論過程において最終回答を得た後も, 再検討なしに反復的自己検証を頻繁に行うことを観察した。本稿では,Anchor-based Process Reward (APR)を提案する。
論文参考訳（メタデータ） (2026-01-31T14:53:20Z)
Anti-Length Shift: Dynamic Outlier Truncation for Training Efficient Reasoning Models [29.56923793047279]
本稿では,冗長トークンを選択的に抑制する訓練時間介入であるDynamic Outlier Truncation(DOT)を紹介する。 DOTは、完全に正しいロールアウトグループ内での応答長の極端のみを目標とし、長い水平推論能力を保っている。提案手法は,初期ポリシーに比べて精度を高くしながら,推論トークンの使用率を78%削減する。
論文参考訳（メタデータ） (2026-01-07T14:31:07Z)
SmartThinker: Learning to Compress and Preserve Reasoning by Step-Level Length Control [5.224609066309358]
大規模な推論モデル(LRM)は、推論時間スケーリングを通じて顕著な推論能力を示した。従来の研究は、強化学習中に生成されたサンプル全体の長さをペナルティ化することでこの問題を緩和しようと試みてきた。 We propose SmartThinker, a two-stage learnable framework designed to enable fine-fine control over the length of reasoning chains。
論文参考訳（メタデータ） (2025-07-06T11:21:47Z)
Thinking Fast and Right: Balancing Accuracy and Reasoning Length with Adaptive Rewards [17.829990749622496]
大規模言語モデルに対する適応的な報酬形成手法を提案する。本手法はモデルの性能に基づいて,精度と応答長のトレードオフを動的に調整する。実験の結果,提案手法は精度を保ちながら推論時間を大幅に短縮することがわかった。
論文参考訳（メタデータ） (2025-05-23T18:44:46Z)
ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning [1.0416697066889342]
そこで本研究では,手動による指導を必要とせずに,推論モデルによる最適なCoT長の学習を可能にする,簡易かつ効果的な強化学習手法を提案する。 ShorterBetterは、ドメイン内およびドメイン外推論タスクの出力長を50%-80%削減する。我々の推論トレース分析は、不要な反復、過剰な自己検証、代替品の過剰探索を減らし、ショーターベッターが推論トレースの構造を洗練することを示している。
論文参考訳（メタデータ） (2025-04-30T07:04:19Z)
Fast-Slow Thinking GRPO for Large Vision-Language Model Reasoning [5.774374541467044]
FAST-GRPOはGRPOの変種であり,質問特性に基づいて推論深度を動的に適応する。その結果,FASTの精度は,ベースモデルと比較して10%以上向上していることがわかった。
論文参考訳（メタデータ） (2025-04-25T16:11:23Z)
Direct Preference Optimization: Your Language Model is Secretly a Reward Model [119.65409513119963]
本稿では,RLHFにおける報酬モデルの新たなパラメータ化について紹介する。 DPO(Direct Preference Optimization)と呼ばれる結果のアルゴリズムは、安定的で、性能が高く、計算的にも軽量である。我々の実験は、DPOが人間の好みに合わせて微調整できるだけでなく、既存の方法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-05-29T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。