論文の概要: Does Failure Feedback Direct Agent Self-Modification?

• arxiv url: http://arxiv.org/abs/2610.14662v1
• Date: Sat, 10 Oct 2026 07:19:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:24:28.254855
• Title: Does Failure Feedback Direct Agent Self-Modification?
• Title（参考訳）: ダイレクトエージェントの自己修正は失敗するか?
• Abstract要約: 自己改善エージェントは、エラーフィードバックを使用してコードや命令を修正しますが、選択後の利益は、ターゲット固有の修復や一般化を確立しません。 ランダムに選択された目標故障の修復と、他の障害の修復を比較して、指向性を測定する。 小さなオープンモデルによる制御された命令修正実験は、関連するフィードバックが目標の修復を改善することを示している。
• 参考スコア（独自算出の注目度）: 0.304585143845864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-improving agents use failure feedback to revise their code or instructions, but gains after selection do not establish target-specific repair or generalization. We measure directedness by comparing repair of a randomly selected target failure with repair of the parent's other failures. Across 145 eligible modifications in public Darwin Gödel Machine logs, we find no detectable target-specific advantage. Controlled instruction-revision experiments with small open models show that relevant feedback can improve target repair. In a second study with a pre-specified analysis plan, target feedback raised repair by 20 percentage points for Qwen3-4B relative to matched same-category feedback; the 7-point increase for Phi-4-mini was not significant. Target repair did not reliably imply held-out improvement. Held-out gains were concentrated in settings with identifiable, repairable failure mechanisms, including planted errors and natural tool-interface failures. Benefits of edit localization and regression screening varied across settings, while eight-step revision loops and GEPA ended at similar mean held-out accuracy. Evaluations should report target repair, transfer to related failures, and held-out net change separately.
• Abstract（参考訳）: 自己改善エージェントは、エラーフィードバックを使用してコードや命令を修正しますが、選択後の利益は、ターゲット固有の修復や一般化を確立しません。 ランダムに選択された目標故障の修復と、他の障害の修復を比較して、指向性を測定する。 ダーウィン・ゲーデル・マシン・ログの145回にわたって、検出可能な目標固有の利点は見つからない。 小さなオープンモデルによる制御された命令修正実験は、関連するフィードバックが目標の修復を改善することを示している。 Phi-4-miniの7点増加は有意差はなかったが, 対象フィードバックがQwen3-4Bに対して20ポイント向上した。 目標の修理は、確実に改善を保留しなかった。 ヘルドアウトゲインは、植込みエラーや自然なツールとインタフェースの障害を含む、特定可能な、修復可能な障害機構を備えた設定に集中していた。 編集のローカライゼーションと回帰スクリーニングの利点は設定によって異なり、8ステップのリビジョンループとGEPAも同様の平均保持精度で終了した。 評価は、目標の修理、関連する障害への転送、別途のネット変更を報告すべきである。

関連論文リスト

• Of Errors and Echoes: Responsibility-Aware Credit Assignment for Tool-Use Agents [55.222414159666016]
  Error-Chain-Aware Optimization (ECHO) は、責任を意識した信用割り当てフレームワークである。 ECHOは新しく導入されたエラー、継承された結果、誤り修正、そして成功した修正を区別する。 ECHOは、責任ある決定と自己引き起こしたエラーの修復に対する報酬の制約を1度に分けて、ダウンストリームの結果の共有をカウントする。
  論文  参考訳（メタデータ） (2026-10-12T00:52:30Z)
• Are We Recovering Mechanisms? Objective-Level Recovery Gaps in Mechanistic Interpretability [9.522452128296834]
  介入定義忠実度は、モデルの振る舞いを再現しにくくする等サイズの回路を好むことを示す。 除外された信号を置き換えることで、保持されたコンポーネントが動作する入力が変化する。
  論文  参考訳（メタデータ） (2026-10-01T17:25:23Z)
• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
  BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。 キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。 エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
  論文  参考訳（メタデータ） (2026-07-30T22:32:14Z)
• Guarded Repair for Harm-Aware Post-hoc Replacement of LLM Mathematical Reasoning [0.0]
  GuardedRepairは、キャッシュされた推論トレースを診断し、修正を選択的にトリガーし、答えを変える候補を受け入れる、最高のN修復フレームワークである。 GuardedRepairは、固定/壊れたトレードオフを大幅に改善すると同時に、削除されるよりも、置き換えのリスクが低減されることを示す。
  論文  参考訳（メタデータ） (2026-05-23T14:51:13Z)
• ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning [12.44509691077682]
  本稿では,繰り返し発生する障害をプロセス知識グラフのシンボル編集に変換する神経シンボルエージェントであるANNEALを紹介する。 その中核となるメカニズムであるFDKA(Failure-Driven Knowledge Acquisition)は、責任のあるオペレータをローカライズし、制約付きLLM生成を通じて型付きパッチを合成し、提案を検証する。 4つのドメインと27のマルチシードランをまたいだANNEALは、永続的な構造修復を行う唯一の評価システムである。
  論文  参考訳（メタデータ） (2026-05-04T05:24:03Z)
• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。