論文の概要: Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning

• arxiv url: http://arxiv.org/abs/2601.02972v1
• Date: Tue, 06 Jan 2026 12:31:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.926385
• Title: Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning
• Title（参考訳）: 正しい、簡潔、そして完成:適応推論のためのマルチステージトレーニング
• Authors: Nathanaël Carraz Rakotonirina, Ren Pang, Neha Anna John, Michael Bohlke-Schneider, Momchil Hardalov,
• Abstract要約: 教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
• 参考スコア（独自算出の注目度）: 11.179446105672461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reasoning capabilities of large language models (LLMs) have improved substantially through increased test-time computation, typically in the form of intermediate tokens known as chain-of-thought (CoT). However, CoT often becomes unnecessarily long, increasing computation cost without actual accuracy gains or sometimes even degrading performance, a phenomenon known as ``overthinking''. We propose a multi-stage efficient reasoning method that combines supervised fine-tuning -- via rejection sampling or reasoning trace reformatting -- with reinforcement learning using an adaptive length penalty. We introduce a lightweight reward function that penalizes tokens generated after the first correct answer but encouraging self-verification only when beneficial. We conduct a holistic evaluation across seven diverse reasoning tasks, analyzing the accuracy--response length trade-off. Our approach reduces response length by an average of 28\% for 8B models and 40\% for 32B models, while incurring only minor performance drops of 1.6 and 2.5 points, respectively. Despite its conceptual simplicity, it achieves a superior trade-off compared to more complex state-of-the-art efficient reasoning methods, scoring 76.6, in terms of the area under the Overthinking-Adjusted Accuracy curve ($\text{AUC}_{\text{OAA}}$) -- 5 points above the base model and 2.5 points above the second-best approach.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力は、テスト時間計算の増大によって大幅に改善され、典型的にはチェーン・オブ・シント(CoT)と呼ばれる中間トークンの形式である。 しかし、CoTは必要以上に長くなり、実際の精度向上なしに計算コストを増大させ、時には性能を低下させる現象である 'overthinking' と呼ばれる現象も生じる。 適応長ペナルティを用いた強化学習と, 教師付き微調整(リジェクションサンプリングやトレース改質の推論)を併用した多段階効率的な推論手法を提案する。 最初の正解後に生成されたトークンをペナライズする軽量な報酬関数を導入するが、有効であれば自己検証を奨励する。 我々は,7つの多種多様な推論タスクを総合的に評価し,精度-応答長トレードオフを解析する。 提案手法は, 8Bモデルの平均応答長を28 %, 32Bモデルで40 %削減し, それぞれ1.6 と 2.5 の小さな性能低下しか生じない。 概念的単純さにもかかわらず、より複雑な最先端の効率的な推論手法よりも優れたトレードオフを達成し、オーバーライド調整精度曲線(英語版)(\text{AUC}_{\text{OAA}}$)の下の領域で76.6点、ベースモデルより5点、第2のベストアプローチより2.5点である。

関連論文リスト

• Efficient Reasoning via Reward Model [24.105621725286497]
  検証可能な報酬(RLVR)を用いた強化学習は、大規模言語モデル(LLM)の推論能力を高めることが示されている。 DeepSeek-R1 や OpenAI o1 のような LRM は、過剰または無関係な推論ステップを含む冗長な応答をしばしば生成する。 本稿では,結果報酬と簡潔度スコアとの間に明確な依存性を有する,CRF(Conciseness Reward Function)という新たな報酬定式化を導入する。
  論文  参考訳（メタデータ） (2025-11-12T09:51:07Z)
• DTS: Enhancing Large Reasoning Models via Decoding Tree Sketching [54.98126916293868]
  大規模推論モデル(LRMs)は、精度を低下させる、非常に長い連鎖のトレースを生成する。 本稿では,高エントロピートークンを分岐することで推論空間をスケッチするモデル非依存デコーディングフレームワークを提案する。 このアプローチは、追加のトレーニングや監督を必要とせず、効率と正確性を両立させる最適解を近似する。
  論文  参考訳（メタデータ） (2025-11-01T17:41:28Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• Inducing Faithfulness in Structured Reasoning via Counterfactual Sensitivity [6.908972852063454]
  大規模言語モデルは、欠陥や無関係な推論トレースに依存しながら、正しい答えを生成することが多い。 本稿では,新しい学習目標であるtextbfCounterfactual Sensitivity Regularization (CSR)を紹介する。 CSRは、標準的な微調整とプロセスの監督に対する忠実度を最大70パーセント向上させる。
  論文  参考訳（メタデータ） (2025-09-01T15:18:46Z)
• Stable Reinforcement Learning for Efficient Reasoning [2.838966689544288]
  GRPO-$lambda$ は GRPO の効率的で安定な変種である。 正当率を監視して報酬戦略を動的に調整する。 平均精度は1.48%向上し、CoT配列の長さは47.3%削減された。
  論文  参考訳（メタデータ） (2025-05-23T16:43:03Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning [1.0416697066889342]
  そこで本研究では,手動による指導を必要とせずに,推論モデルによる最適なCoT長の学習を可能にする,簡易かつ効果的な強化学習手法を提案する。 ShorterBetterは、ドメイン内およびドメイン外推論タスクの出力長を50%-80%削減する。 我々の推論トレース分析は、不要な反復、過剰な自己検証、代替品の過剰探索を減らし、ショーターベッターが推論トレースの構造を洗練することを示している。
  論文  参考訳（メタデータ） (2025-04-30T07:04:19Z)
• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。