論文の概要: PaceReasoner: Label-Free Learning to Answer Briefly from Long Reasoning
- arxiv url: http://arxiv.org/abs/2610.17900v1
- Date: Tue, 13 Oct 2026 07:55:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.551122
- Title: PaceReasoner: Label-Free Learning to Answer Briefly from Long Reasoning
- Title（参考訳）: PaceReasoner:Long Reasoningから簡単に答えられるラベルなし学習
- Abstract要約: ラベルなしテスト時間強化学習フレームワークPaceReasonerを紹介する。
SHORTモードの精度を向上させるために、モデルのLONG応答を使用する。
PaceReasonerは、進歩的で信頼性の高い監督を通じて、全責任とLONGのみの回答コンセンサスを組み合わせる。
- 参考スコア（独自算出の注目度）: 25.7373965340161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extended chain-of-thought reasoning improves problem-solving performance but increases inference cost and latency, motivating more accurate answers with shorter reasoning. We introduce PaceReasoner, a label-free test-time reinforcement learning framework that uses a model's LONG responses to improve its SHORT-mode accuracy. Both modes share a trainable policy, creating a need for reliable supervision, sufficient SHORT training samples, and continued LONG responses to guide learning. PaceReasoner combines all-response and LONG-only answer consensus through progressive, confidence-weighted supervision. A behavior reward gradually shifts from encouraging SHORT exploration to rewarding agreement with LONG answers, while a ratio controller regulates the balance between modes. Across three model backbones and four benchmarks, PaceReasoner improves average SHORT accuracy over the baselines by 7.4--13.5 percentage points, with fewer than 25 reasoning tokens per response on average. Ablations support the key components, and cross-dataset results demonstrate transfer beyond the adaptation set.
- Abstract（参考訳）: チェーンオブ思考推論の拡張は、問題解決のパフォーマンスを改善するが、推論コストとレイテンシを増大させ、より正確な答えをより短い推論で動機付ける。
本稿では,ラベルのないテスト時間強化学習フレームワークであるPaceReasonerを紹介し,モデルのLONG応答を用いてSHORTモードの精度を向上させる。
どちらのモードもトレーニング可能なポリシを共有しており、信頼性の高い監視、十分なSHORTトレーニングサンプル、ガイド学習のためのLONG応答を作成できる。
PaceReasonerは、進歩的で信頼性の高い監督を通じて、全責任とLONGのみの回答コンセンサスを組み合わせる。
行動報酬は SHORT 探索の奨励から LONG 回答との一致へと徐々にシフトし、比例制御器はモード間のバランスを調節する。
3つのモデルバックボーンと4つのベンチマークで、PaceReasonerはベースラインに対する平均SHORT精度を7.4～13.5ポイント改善し、レスポンス当たりの推論トークンは25未満である。
アブレーションはキーコンポーネントをサポートし、クロスデータセットの結果はアダプションセットを超えた転送を示す。
関連論文リスト
- ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。
多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。
LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-10-13T13:38:02Z) - QLPO: Quadrant-weighted Sampling for Length-aware Policy Optimization [24.184762145941264]
本稿では,報酬関数を変更せずに暗黙長制御を導入するGRPOの単純な再サンプリングに基づく変種を提案する。
QLPOは1.5Bから32Bパラメータのモデル間の精度-長のトレードオフを一貫して改善する。
これらの結果は、構造的再サンプリングが効率的な推論に効果的で堅牢なアプローチをもたらすことを示唆している。
論文 参考訳（メタデータ） (2026-07-23T20:20:56Z) - Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。
本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
論文 参考訳（メタデータ） (2026-02-27T20:23:59Z) - Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。
より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。
近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
論文 参考訳（メタデータ） (2026-02-13T02:13:45Z) - Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。
本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。
提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-02-09T10:41:44Z) - RoRecomp: Enhancing Reasoning Efficiency via Rollout Response Recomposition in Reinforcement Learning [45.850748558862364]
検証可能な報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)における複雑な推論を導くのに有効であることが証明された。
本稿では,学習データを戦略的に再コンパイルすることで,モデルから簡潔な推論へ導くプラグイン・アンド・プレイ手法であるRoRecompを提案する。
論文 参考訳（メタデータ） (2025-09-30T08:54:38Z) - Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。
エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2025-09-28T16:33:07Z) - Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。
既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。
本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
論文 参考訳（メタデータ） (2025-09-08T17:36:21Z) - Self-Aligned Reward: Towards Effective and Efficient Reasoners [16.740993145927774]
自己整合報酬 (Self-aligned reward, SAR) は、検証可能な報酬を補完し、推論精度と効率の両方を奨励する自己誘導信号である。
SARは, 正確さ, 正解スコアが冗長性よりも高く, 正解スコアが完全誤解よりも高いという, 解答品質を確実に区別することを示す。
論文 参考訳（メタデータ） (2025-09-05T20:39:43Z) - CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models [29.95434387343843]
本稿では,3つのコンポーネントによる長さバイアスを緩和する統合フレームワークを提案する。
CoLDは一貫して報酬長相関を減少させ、ステップ選択の精度を改善し、より簡潔で論理的に妥当な推論を促進する。
論文 参考訳（メタデータ） (2025-07-21T15:07:59Z) - Stable Reinforcement Learning for Efficient Reasoning [2.838966689544288]
GRPO-$lambda$ は GRPO の効率的で安定な変種である。
正当率を監視して報酬戦略を動的に調整する。
平均精度は1.48%向上し、CoT配列の長さは47.3%削減された。
論文 参考訳（メタデータ） (2025-05-23T16:43:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。