論文の概要: Giving Credit Where It's Due: Redundancy-Aware Learning for Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2609.27156v1
• Date: Tue, 22 Sep 2026 23:39:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.803184
• Title: Giving Credit Where It's Due: Redundancy-Aware Learning for Efficient Reasoning
• Title（参考訳）: 原因は何か - 効果的な推論のための冗長性認識学習
• Abstract要約: 大きな推論モデルは正しいが不要に長い推論トレースを生成することができる。 推論構造におけるステップの下流の役割と、その問題の正しい解決への貢献の両方に基づいて、クレジットを割り当てるRECAPを紹介します。 その結果,RECAPは2つの7Bモデルと4つの数学的推論ベンチマークの精度と効率のトレードオフを改善した。
• 参考スコア（独自算出の注目度）: 11.858171807389695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large reasoning models can produce correct yet unnecessarily long reasoning traces. Existing methods improve reasoning efficiency with trajectory-level objectives or local token- and step-level signals, but rarely model inter-step semantic dependencies. This limits their ability to distinguish redundant steps from those that support later deductions, making it harder to shorten reasoning without sacrificing accuracy. We introduce RECAP (REdundancy-aware Credit Assignment via Propagation), which addresses this limitation by assigning credit where it is due based on both a step's downstream role in the reasoning structure and its contribution to solving the problem correctly. We define structural responsibility to capture the step's downstream role by measuring how strongly later reasoning depends on it, using credit propagated backward from the final-answer node through an outcome-independent, LLM-annotated semantic dependency graph. However, a step can have high structural responsibility yet steer the reasoning away from the correct solution. RECAP therefore introduces step efficacy to measure answer-directed progress through changes in gold-answer log-likelihood as each step is added. Together, these signals reshape rollout-level GRPO advantages into step-specific updates. RECAP requires neither a separately trained process reward model nor preconstructed concise trajectories. Across two 7B models and four mathematical reasoning benchmarks, RECAP improves the accuracy-efficiency trade-off. On Qwen2.5-Math-7B, it improves pass@1 by 2.0-3.7 percentage points while reducing reasoning tokens by 8%-31% relative to GRPO across all four benchmarks. Analysis suggests these savings reflect fewer reasoning operations and less dead-end reasoning, rather than more compact expression.
• Abstract（参考訳）: 大きな推論モデルは正しいが不要に長い推論トレースを生成することができる。 既存の方法は、軌道レベルの目的や局所トークンやステップレベルの信号による推論効率を改善するが、ステップ間のセマンティック依存関係をモデル化することは滅多にない。 これにより、余分なステップと後続の減算をサポートするステップを区別する能力が制限され、精度を犠牲にすることなく推論を短縮することが困難になる。 本稿では,RECAP(Redundancy-aware Credit Assignment via Propagation)を導入し,この制限に対処する。 我々は、結果に依存しないLLMアノテーション付きセマンティック依存グラフを通じて最終回答ノードから後方に伝播したクレジットを用いて、後続の推論がどれほど強く依存するかを測定することによって、ステップの下流の役割を捕捉する構造的責任を定義する。 しかし、あるステップは高い構造的責任を持つ可能性があるが、正しい解決策から推論を遠ざける。 したがって、RECAPは、各ステップが追加されるにつれて、ゴールド・アンサー・ログのような変化を通じて、回答指向の進捗を測定するステップ効果を導入する。 これらの信号は共にロールアウトレベルのGRPOのアドバンテージをステップ固有のアップデートに再形成する。 RECAPは、個別に訓練されたプロセス報酬モデルも、事前構築された簡潔な軌跡も必要としない。 2つの7Bモデルと4つの数学的推論ベンチマークで、RECAPは精度と効率のトレードオフを改善している。 Qwen2.5-Math-7Bでは、パス@1を2.0-3.7ポイント改善し、推論トークンをGRPOと比較して8%-31%削減した。 解析によると、これらの貯蓄はよりコンパクトな表現よりも、推論操作が少なく、終末推論が少ないことを反映している。

関連論文リスト

• Ladders of Thought: A Self-Evolving Curriculum of Progressively Simplified Reasoning Traces [55.31881110525802]
  進化的質問書き直しと自己進化型カリキュラムを組み合わせることで推論を改善するフレームワークであるLadders-of-Thought(LoT)を提案する。 LoTは意味論的に忠実だがより容易な推論問題の変種を自動生成し、ステップベースの測度を用いて難易度バケットに整理し、適応的にトレーニングを割り当てるために自己進化型バンディットスケジューラを使用する。
  論文  参考訳（メタデータ） (2026-09-22T03:54:31Z)
• Stabilizing Efficient Reasoning with Step-Level Advantage Selection [54.563811052329235]
  我々は,長さを意識しない標準のGRPOを用いて,短文のポストトレーニング単独で,すでにかなりの推理圧縮を誘導していることを示す。 そこで本稿では, 適切なロールアウトにおける低信頼度ステップと, 検証済みロールアウトにおける高信頼度ステップにゼロアドバンテージを割り当てるステップレベルアドバンテージ選択(SAS)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T03:34:59Z)
• Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning [66.22060690012512]
  大規模な推論モデルは、より多くのテストタイム計算で改善されるが、しばしば過大評価され、正確さを向上することなくコストを上昇させる必要のない長い連鎖を生み出す。 本研究は,本質的な貢献に基づいて,ステップ間の長さ短縮を割り当てる,きめ細かいフレームワークであるSWAPを提案する。
  論文  参考訳（メタデータ） (2026-02-27T20:23:59Z)
• Structured Reasoning for Large Language Models [59.215789462977206]
  本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。 SCRは推論効率と自己検証を大幅に改善する。 既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
  論文  参考訳（メタデータ） (2026-01-12T04:04:01Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• Beyond Token Length: Step Pruner for Efficient and Accurate Reasoning in Large Language Models [26.88030285500965]
  大きな推論モデル(LRM)は複雑なタスクにおいて強いパフォーマンスを示すが、しばしば過剰な冗長性に悩まされる。 コンパクトな推論ステップを好んで, LRM をより効率的に推論するための RL フレームワークである textbfStep Pruner (SP) を導入する。 我々のステップアウェア報酬関数は、冗長なステップに対して罰則を課しながら正当性を優先し、誤った推論の強化を防ぐための誤った応答に対する報酬を控える。
  論文  参考訳（メタデータ） (2025-10-04T13:24:26Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• Answer Convergence as a Signal for Early Stopping in Reasoning [7.51755942515969]
  大型言語モデル(LLM)における思考の連鎖(CoT)の促進 提案手法は,(1)応答整合性による早期停止,(2)終末信号発生確率の向上,(3)内部アクティベーションに基づいていつ停止するかを学習する教師付き手法である。
  論文  参考訳（メタデータ） (2025-06-03T07:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。