論文の概要: Failed Reasoning Traces Tell You What Is Fixable (But Not by Reading Them)

• arxiv url: http://arxiv.org/abs/2606.05145v1
• Date: Wed, 03 Jun 2026 17:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.943838
• Title: Failed Reasoning Traces Tell You What Is Fixable (But Not by Reading Them)
• Title（参考訳）: 壊れたリアクションで何が直せるのかがわかる(ただし読むだけではダメ)
• Authors: Nizar Islah, Istabrak Abbes, Irina Rish, Sarath Chandar, Eilif B. Muller,
• Abstract要約: テスト時間介入が与えられた障害を救える推論時シグネチャを符号化した障害トレースを提案する。 利用可能な介入の構造から導かれる3つの問題レベルの軌道特徴は、ロールアウト失敗の分布的シグネチャからこの構造を回復する。 同じ3つの機能は、破棄されたデータから失敗したトレースを診断オブジェクトに変換し、トレーニング時間やウェイトスペースアクセスなしでテスト時間ルーティングとトレーニング後の分析をサポートする。
• 参考スコア（独自算出の注目度）: 25.626296075137372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When post-trained language models fail on reasoning problems, the common test-time-scaling response is to spend more compute on additional attempts, and the failed traces play no further role. We argue this discards a crucial signal; some failures come from unlucky sampling, where more rollouts help, while others are structural and resist resampling regardless of budget. We propose that failed traces encode recoverability structure: the inference-time signature of which test-time interventions can rescue a given failure. Three problem-level trajectory features, derived from the structure of available interventions, recover this structure from the distributional signature of failed rollouts, not their text. They cluster failures into stable regimes, characterize the failure topography of different post-training methods ($84.3{\pm}4.3\%$ accuracy, $+20\%$ over a majority-class baseline), and support a training-free routing rule that lifts rescue by $+12.2\%$ on the deployment-relevant Steerable-Hard subset (failures where retry is insufficient and a bounded intervention is reachable). The features and the routing rule transfer across two cross-family probes. The same three features thus convert failed traces from discarded data into a diagnostic object, supporting test-time routing and post-training analysis without training-time or weight-space access.
• Abstract（参考訳）: トレーニング後の言語モデルが推論問題で失敗すると、一般的なテスト時スケーリングの応答は、さらなる試行により多くの計算を費やすことであり、失敗したトレースはそれ以上の役割を果たさない。 いくつかの失敗は、より多くのロールアウトが役立つ不運なサンプリングによるもので、一方では構造的であり、予算に関係なく再サンプリングに抵抗するものだ。 テスト時間介入が与えられた障害を救える推論時シグネチャを符号化した障害トレースを提案する。 利用可能な介入の構造から導かれる3つの問題レベルの軌道特徴は、そのテキストではなく、ロールアウトの分散シグネチャからこの構造を回復する。 それらは障害を安定した体制に分類し、異なるトレーニング後のメソッドの障害トポグラフィー(84.3{\pm}4.3\%$精度、多数派クラスのベースラインよりも$+20\%$)を特徴付け、デプロイ関連のSteelable-Hardサブセット(再試行が不十分でバウンダリされた介入が到達可能な障害)に対して、レスキューを+12.2\%引き上げるトレーニング不要なルーティングルールをサポートする。 特徴とルーティング規則は2つのクロスサイトプローブ間で伝達される。 同じ3つの機能は、破棄されたデータから失敗したトレースを診断オブジェクトに変換し、トレーニング時間やウェイトスペースアクセスなしでテスト時間ルーティングとトレーニング後の分析をサポートする。

関連論文リスト

• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability [8.036549927091286]
  本稿では,マルチエージェントLSMトレースにおける無駄な計算を診断するための,故障を考慮した可観測性フレームワークを提案する。 このフレームワークを3エージェントの質問応答システムでインスタンス化し、165のGAIA検証トレース上で同一の実行上限で評価する。
  論文  参考訳（メタデータ） (2026-05-31T17:50:11Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• STAR: Failure-Aware Markovian Routing for Multi-Agent Spatiotemporal Reasoning [13.329339723676147]
  本稿では,現在のエージェント,タスクタイプ,型付き実行状態に対する状態条件付きポリシとして,エージェント間制御を外部化するフェールアウェアルーティングフレームワークSTARを提案する。 障害状態のトレースは異なるため、ルータは不正な出力、依存関係の欠如、ツール-グラウンド抽出-- 計算-デポジットプロトコルに異なる応答をし、中間結果を共有ブラックボードに書き込み、下流融合を行う。 その結果、トレーニング中にトレースが失敗すると、ルーティングポリシのエラー状態のサポートが拡大し、成功のみのトレーニングでは表現できないリカバリ移行が可能になることが証明された。
  論文  参考訳（メタデータ） (2026-05-11T06:34:49Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
  ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。 ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
  論文  参考訳（メタデータ） (2026-02-13T14:33:13Z)
• R$^3$L: Reflect-then-Retry Reinforcement Learning with Language-Guided Exploration, Pivotal Credit, and Positive Amplification [44.99719889905381]
  強化学習は推論とエージェント能力の最近の進歩を促進するが、現在のアプローチは探索と搾取の両方で苦労している。 本稿では,R$3$L,Reflection-then-Retry Reinforcement Learning with Language-Guided Exploration,Pivotal Credit,Positive Amplificationを提案する。 エージェントおよび推論タスクの実験は、トレーニング安定性を維持しながら、ベースラインよりも5%から52%改善したことを示している。
  論文  参考訳（メタデータ） (2026-01-07T09:04:52Z)
• Uncertainty-aware Unsupervised Multi-Object Tracking [33.53331700312752]
  教師なしマルチオブジェクトトラッカーは、信頼できる機能埋め込みの学習に劣る。 最近の自己監督技術は採用されているが、時間的関係を捉えられなかった。 本稿では、不確実性問題は避けられないが、不確実性自体を活用して学習された一貫性を向上させることができると論じる。
  論文  参考訳（メタデータ） (2023-07-28T09:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。