論文の概要: FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents

• arxiv url: http://arxiv.org/abs/2608.08570v1
• Date: Sun, 09 Aug 2026 08:22:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.872289
• Title: FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents
• Title（参考訳）: FailForge: 永続的失敗からコードエージェントへの手続き的能力の停止
• Abstract要約: FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。 FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
• 参考スコア（独自算出の注目度）: 49.519184792774304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rejection sampling fine-tuning (RFT) is widely used to train code agents by generating trajectories on verifiable software engineering tasks, retaining those that pass the tests, and fine-tuning on the successful rollouts. However, even strong code agents repeatedly fail on a substantial fraction of such tasks, and standard RFT simply discards these failures. The discarded samples are precisely the hardest and most informative ones, drawn from verifiable instances that are costly to curate. Stronger base models may reduce the number of failures, but the remaining hard cases still define the frontier for further improvement. We propose FailForge, an agentic framework that converts failed rollouts into training signal. For each failed instance, an agent diagnoses the failure from error feedback and execution traces, distills the diagnosis into a concise and actionable skill, and injects the skill into the agent context for a guided second attempt. Trajectories that succeed under skill guidance are folded back into the RFT corpus. Crucially, the skill is removed at training time, so the model internalizes the recovered behavior rather than relying on external hints at inference. FailForge recovers over 26% of previously failed instances at marginal additional cost, and training Qwen3.5-4B on the augmented corpus improves the SWE-bench Verified resolve rate by 6.6 points over a strong RFT baseline, with gains concentrated on the hardest problems.
• Abstract（参考訳）: Rejection sample fine-tuning (RFT) は、検証可能なソフトウェアエンジニアリングタスクの軌道を生成し、テストに合格したタスクを保持し、成功したロールアウトを微調整することで、コードエージェントの訓練に広く用いられている。 しかし、強力なコードエージェントでさえ、そのようなタスクのかなりの部分で繰り返し失敗し、標準RTTは単にこれらの失敗を破棄する。 廃棄されたサンプルは、キュレートするのにコストがかかる検証可能なインスタンスから引き出された、まさに最も難しく、最も情報に富んだものである。 より強いベースモデルは、障害の数を減らすかもしれないが、残りのハードケースは、さらなる改善のフロンティアを定義している。 故障したロールアウトをトレーニング信号に変換するエージェントフレームワークであるFailForgeを提案する。 失敗した各インスタンスに対して、エージェントは、エラーフィードバックや実行トレースからの障害を診断し、診断を簡潔で実行可能なスキルに蒸留し、ガイドされた第2試行のためにエージェントコンテキストにそのスキルを注入する。 技術指導で成功する軌道はRFTコーパスに折り返される。 重要なことは、スキルはトレーニング時に取り除かれるため、モデルは推論の外部ヒントに頼るのではなく、回復した振る舞いを内部化する。 FailForgeは、これまで失敗したインスタンスの26%を限界的な追加コストで回復し、強化コーパス上でのQwen3.5-4Bのトレーニングは、強力なRFTベースラインよりも6.6ポイント向上し、最も難しい問題に集中している。

関連論文リスト

• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• Failed Reasoning Traces Tell You What Is Fixable (But Not by Reading Them) [25.626296075137372]
  テスト時間介入が与えられた障害を救える推論時シグネチャを符号化した障害トレースを提案する。 利用可能な介入の構造から導かれる3つの問題レベルの軌道特徴は、ロールアウト失敗の分布的シグネチャからこの構造を回復する。 同じ3つの機能は、破棄されたデータから失敗したトレースを診断オブジェクトに変換し、トレーニング時間やウェイトスペースアクセスなしでテスト時間ルーティングとトレーニング後の分析をサポートする。
  論文  参考訳（メタデータ） (2026-06-03T17:50:26Z)
• TD-Grokking: Learning from Zero-Reward Problems by Training-Time Decomposition [10.882920019894451]
  ゼロ逆問題に対する学習時間分解フレームワークTD-Grokkingを提案する。 TD-Grokking はバニラGRPO と全てのベースラインアプローチに優れることを示す。
  論文  参考訳（メタデータ） (2026-06-03T06:40:04Z)
• Trace2Skill: Verifier-Guided Skill Evolution for Long-Context EDA Agents [0.3733676450456031]
  テスト時間スケーリングフレームワークであるTrace2Skillを提案する。 新しいモデルをトレーニングしたり、より多くの候補ソリューションをサンプリングする代わりに、Trace2Skillはエージェントの自然言語スキルを進化可能なポリシーとして扱う。 成功と失敗モードのために繰り返しロールアウトトレースをマイニングし、それらを密集した診断やオラクルのレッスンに変換し、オラクル、ミューテータ、セレクタループを使用してタスク固有のスキルを生成する。
  論文  参考訳（メタデータ） (2026-05-20T23:10:49Z)
• Towards Robust LLM Post-Training: Automatic Failure Management for Reinforcement Fine-Tuning [44.75827047453428]
  補強微調整のための自動故障管理フレームワークを提案する。 RFT-FaultBenchは、強化微調整におけるきめ細かい欠陥の最初のベンチマークである。 RFT-FMは、RTT障害の検出、診断、緩和に強い能力を示す。
  論文  参考訳（メタデータ） (2026-05-06T02:50:00Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• R$^3$L: Reflect-then-Retry Reinforcement Learning with Language-Guided Exploration, Pivotal Credit, and Positive Amplification [44.99719889905381]
  強化学習は推論とエージェント能力の最近の進歩を促進するが、現在のアプローチは探索と搾取の両方で苦労している。 本稿では,R$3$L,Reflection-then-Retry Reinforcement Learning with Language-Guided Exploration,Pivotal Credit,Positive Amplificationを提案する。 エージェントおよび推論タスクの実験は、トレーニング安定性を維持しながら、ベースラインよりも5%から52%改善したことを示している。
  論文  参考訳（メタデータ） (2026-01-07T09:04:52Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Exploring Expert Failures Improves LLM Agent Tuning [74.0772570556016]
  本稿では,失敗した専門家の軌道から有益な行動を識別する専門的失敗の探索(EEF)を提案する。 EEFは、未解決のいくつかのサブタスクをうまく解決し、エージェントチューニング性能を改善する。
  論文  参考訳（メタデータ） (2025-04-17T17:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。