論文の概要: Learning to Reason Efficiently with A* Post-Training

• arxiv url: http://arxiv.org/abs/2605.24597v1
• Date: Sat, 23 May 2026 14:28:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.265202
• Title: Learning to Reason Efficiently with A* Post-Training
• Title（参考訳）: A*ポストトライニングで効果的に推論する学習
• Authors: Andreas Opedal, Francesco Ignazio Re, Abulhair Saparov, Mrinmaya Sachan, Bernhard Schölkopf, Ryan Cotterell,
• Abstract要約: 大規模言語モデルでは, A* 探索のガイダンスを用いて, 正確かつ効率的な証明を生成することができるかを検討する。 経験的に、1B--3B範囲のLlama-3.2モデルはA*ポストトレーニングの恩恵が大きいことが判明した。 より大きな探索空間では、不完全で訓練されたモデルの方が精度が高い。
• 参考スコア（独自算出の注目度）: 119.18396754931602
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Many applications of large language models (LLMs) require deductive reasoning, yet models frequently produce incorrect or redundant inference steps. We frame natural language inference as a search problem where the final answer is the valid proof itself, requiring a reasoning procedure in which intermediate inferences are correct. Specifically, we investigate whether LLMs can learn to generate correct and efficient proofs with guidance from A* search -- an algorithm that guarantees an optimally efficient path to a goal. We explore two training techniques: supervised fine-tuning on execution traces from A* and reinforcement learning with A*-informed process reward models. Empirically, we find that Llama-3.2 models in the 1B--3B range benefit substantially from A* post training, going from near-zero accuracy to outperforming DeepSeek-V3.2 -- a much larger model. Our analysis uncovers a trade-off: while simple correctness rewards maximize accuracy, A*-informed signals strike a balance between accuracy and efficiency. Furthermore, we find that on larger search spaces, models trained with imperfect heuristics exhibit superior accuracy. Our results demonstrate a promising direction towards reasoning guided by principles derived from classical search algorithms.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の多くのアプリケーションでは推論を導出する必要があるが、モデルはしばしば誤った推論ステップや冗長な推論ステップを生成する。 自然言語推論は,最終回答が有効証明そのものである探索問題であり,中間推論が正しい推論手順を必要とする。 具体的には,目標への最適経路を保証するアルゴリズムであるA*サーチのガイダンスを用いて,LLMが正確かつ効率的な証明を生成することができるかどうかを検討する。 我々は,A*から得られた実行トレースの教師付き微調整と,A*にインフォームドされたプロセス報酬モデルによる強化学習の2つのトレーニング手法について検討する。 1B--3BレンジのLlama-3.2モデルは、ほぼゼロに近い精度から、はるかに大きなモデルであるDeepSeek-V3.2よりも優れたパフォーマンスでA*ポストトレーニングの恩恵を受けている。 単純な正しさは精度を最大化するが、A*インフォームド信号は精度と効率のバランスをとる。 さらに,より大規模な探索空間では,不完全ヒューリスティックで訓練されたモデルの方が精度が高いことがわかった。 本研究は,古典的探索アルゴリズムから導かれた原理に基づく推論への有望な方向を示すものである。

関連論文リスト

• The Art of Efficient Reasoning: Data, Reward, and Optimization [20.542546956993363]
  大規模言語モデル(LLM)は、スケールしたChain-of-Thought(CoT)推論の恩恵を受けるが、計算オーバーヘッドも重い。 効率的な推論は、短くて正確な思考軌道のインセンティブを、典型的には強化学習(RL)による報酬形成によって達成することを目的としている 統一されたプロトコルで広範な実験(約0.2万GPU時間)を行い、トレーニングプロンプトとロールアウト、報酬形成、最適化戦略をデコンストラクションします。
  論文  参考訳（メタデータ） (2026-02-24T14:28:16Z)
• InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
  アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。 Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
  論文  参考訳（メタデータ） (2026-01-20T18:15:38Z)
• Neural Chain-of-Thought Search: Searching the Optimal Reasoning Path to Enhance Large Language Models [61.55758048622473]
  最適思考戦略の動的探索として推論を再構成するフレームワークであるNeural Chain-of-Thought Search (NCoTS)を導入する。 解空間を定量的に特徴づけることで、標準出力よりも正確かつ簡潔なスパース優良推論経路の存在を明らかにする。
  論文  参考訳（メタデータ） (2026-01-16T14:38:18Z)
• EpiCaR: Knowing What You Don't Know Matters for Better Reasoning in LLMs [9.412828452977553]
  既存のアプローチは成功した推論パスを強化し、かなりのキャリブレーションコストを発生させる。 この失敗は、アライメントにおけるモデル崩壊の一形態として特徴づけられている。 推論性能とキャリブレーションを協調的に最適化する訓練目標として,EpiCaRを提案する。
  論文  参考訳（メタデータ） (2026-01-11T06:21:13Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• The Wisdom of Hindsight Makes Language Models Better Instruction Followers [84.9120606803906]
  強化学習は、人間のフィードバックによる指示に合うように、大きな言語モデルを微調整することに成功している。 そこで本稿では,本論文で提案するアプローチとして,原文を緩和することでフィードバックを指導に変換する手法と,教師付き手法によるアライメント向上のためのモデルをトレーニングする手法を提案する。 言語モデルと命令を整合させる新しいアルゴリズムであるHIR(Hindsight Instruction Relabeling)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T12:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。