論文の概要: Search, Fail, Recover: A Training Framework for Correction-Aware Reasoning
- arxiv url: http://arxiv.org/abs/2607.07492v1
- Date: Wed, 08 Jul 2026 14:53:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.42666
- Title: Search, Fail, Recover: A Training Framework for Correction-Aware Reasoning
- Title（参考訳）: 検索、フェール、リカバリ:訂正認識推論のためのトレーニングフレームワーク
- Abstract要約: ピリジェント(Pyligent)は、部分解鎖上の検証された探索として推論を表す。
Pyligent は遅延障害回復を分離するために設計された隠れ有向グラフタスクで評価する。
金のみを監督する微調整と比較して、ピリジェントは解法率を72.7ドルの割合で改善している。
- 参考スコア（独自算出の注目度）: 3.078302485821375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many reasoning tasks are not well described by a single left-to-right chain: a solver may need to pursue a plausible branch, observe delayed failure, and return to the latest prefix that can still be completed. We introduce Pyligent, a training and inference framework inspired by the Diligent Learner formulation that represents reasoning as validated search over partial solution chains. A task validator labels generated continuations and failures, and the resulting search trees are converted into supervised targets for three actions: continue, finish, and backtrack, with optional traces that summarize abandoned branches. We evaluate Pyligent on a hidden directed graph task designed to isolate delayed-failure recovery, and on structured reasoning domains with exact validators, including $4{\times}4$ Sudoku, Sudoku with reasoning traces, and Blocksworld. Compared with gold-only supervised fine-tuning, Pyligent improves solve rate by $72.7$ percentage points on hidden graphs, by $17$ and $18$ points on mixed and expert Sudoku, by $27$ and $14$ points on mixed and expert Sudoku with reasoning traces, and by $13$ points on Blocksworld. These results suggest that explicit failed-branch supervision can teach useful recovery behavior beyond imitation of polished solution chains.
- Abstract（参考訳）: 多くの推論タスクは、単一の左から右へのチェーンによってうまく説明されていない。解決者は、妥当な分岐を追求し、遅れた失敗を観察し、まだ完了可能な最新のプレフィックスに戻る必要があるかもしれない。
PyligentはDligent Learnerの定式化にインスパイアされたトレーニングと推論のフレームワークで、部分解連鎖上の検証された探索として推論を表現する。
Task Validatorは生成された継続と失敗をラベル付けし、結果の検索ツリーは3つのアクション(継続、終了、バックトラック)に対して教師付きターゲットに変換される。
Pyligentは遅延障害回復を分離するために設計された隠された有向グラフタスクと、正確なバリデータを持つ構造的推論ドメイン(4{\times}4$ Sudoku、sudoku with reasoning traces、Blocksworldなど)で評価する。
金のみを監督する微調整と比較すると、Pyligentは隠れグラフで72.7ドル、混合グラフで17ドルと18ドル、混合グラフで17ドルと14ドル、推理トレースで27ドルと14ドル、Blocksworldで13ドルとなっている。
以上の結果から, 明らかに失敗ブランチの監督は, 研磨した溶液鎖の模倣を超えて, 有効な回復行動を教えることができることが示唆された。
関連論文リスト
- TRACE: Trajectory-robust Admission with Evidence Ordering for Efficient GUI Agents [54.88208747581851]
トレーニング不要のビジュアルトークンプルーニングは、このコストを削減することができるが、キャッシュ再利用には基本的な制約が伴う。
我々は,emphtextbfTrajectory-textbfrobust textbfAdmission と textbfCoverage-aware textbfEvidence ordering のためのトレーニング不要フレームワーク textbfmethod を提案する。
論文 参考訳（メタデータ） (2026-09-09T15:12:48Z) - Sound Debloating of Redundant Checks in Zero-Knowledge Machine-Learning Circuits [8.87115326771099]
音質を確実に保ちながら冗長チェックを除去する自動フレームワークを提案する。
我々のツールは最大48.7%の制約を排除し、セキュリティを弱めることなく証明時間を72.8%まで短縮する。
論文 参考訳（メタデータ） (2026-09-09T13:27:25Z) - Failed Reasoning Traces Tell You What Is Fixable (But Not by Reading Them) [25.626296075137372]
テスト時間介入が与えられた障害を救える推論時シグネチャを符号化した障害トレースを提案する。
利用可能な介入の構造から導かれる3つの問題レベルの軌道特徴は、ロールアウト失敗の分布的シグネチャからこの構造を回復する。
同じ3つの機能は、破棄されたデータから失敗したトレースを診断オブジェクトに変換し、トレーニング時間やウェイトスペースアクセスなしでテスト時間ルーティングとトレーニング後の分析をサポートする。
論文 参考訳（メタデータ） (2026-06-03T17:50:26Z) - DiBS: Diffusion-Informed Branch Selection [22.999327299754565]
分岐選択探索プロセスにおいて,DiBSと呼ばれる新しい拡散モデル誘導手法を提案する。
具体的には、DiBSはシンボリックソルバを完全に保ち、拡散モデルを分岐順序ガイドとして利用する。
挑戦的なRoyle 17-clue Sudokuベンチマークの実験は、我々のDiBSが検索コストを大幅に削減していることを示している。
論文 参考訳（メタデータ） (2026-06-02T14:19:51Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards [53.339700196282905]
検証可能な報酬(RLVR)による強化学習は,この課題を約束している。
既存の方法は、信頼性の低いインタプリタと、スパースで結果のみの報酬信号によって制限される。
textscLongTraceRLは、ランダムサンプリングやワンショット検索によって作られたものよりもはるかに難しいトレーニングコンテキストを生成する。
論文 参考訳（メタデータ） (2026-05-29T17:51:40Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳（メタデータ） (2026-05-21T09:19:23Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳（メタデータ） (2026-05-21T04:54:55Z) - TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition [62.56752617853322]
アウトカムベースの報酬はスパースフィードバックのみを提供するが、トラジェクトリによる報酬は注釈付き参照ソリューションに依存している。
本稿では,関数スキーマと実行時実行を直接管理する報奨フレームワークであるtrajectory-Invariant Execution Rewardsを提案する。
論文 参考訳（メタデータ） (2026-05-16T03:47:26Z) - Correct Is Not Enough: Training Reasoning Planners with Executor-Grounded Rewards [15.458797431655961]
検証可能な報酬を伴う強化学習は、大規模言語モデルにおける明示的な推論を改善する共通の方法となっている。
しかし、最終回答の正確性だけでは、推論トレースが信頼できるか、信頼できるか、あるいはそれを消費するモデルに有用かは明らかになっていない。
我々は、推論を消費可能な中間アーティファクトとして扱うプランナー・エグゼクタトレーニングフレームワークであるTraceLiftを提案する。
論文 参考訳（メタデータ） (2026-05-05T15:24:40Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Reasoning without Regret [4.07926531936425]
本稿では,スパース結果に基づく報酬を効果的な手順に基づく信号に変換する非回帰フレームワークであるemphBackwards Adaptive Reward Shaping(BARS)を紹介する。
我々の分析は, 一般的な連鎖, 連続スケーリング限界, 非線形ファインマン・カック境界に基づいて, 最近の結果に基づく手法の実証的成功と中間管理の利点を結びつけている。
論文 参考訳（メタデータ） (2025-04-14T00:34:20Z) - Learning by Fixing: Solving Math Word Problems with Weak Supervision [70.62896781438694]
数学用語問題(mwps)の従来のニューラルネットワークソルバは、完全な監視によって学習され、多様なソリューションを生み出すことができない。
MWPを学習するためのテキスト弱教師付きパラダイムを提案する。
この手法は最終回答のアノテーションのみを必要とし、単一の問題に対して様々な解決策を生成できる。
論文 参考訳（メタデータ） (2020-12-19T03:10:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。