論文の概要: Repairs for Whom? Evaluator-Executor Mismatch in Selecting Repairs for Failed LLM Agents

• arxiv url: http://arxiv.org/abs/2610.38610v1
• Date: Wed, 28 Oct 2026 10:29:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 09:52:09.300195
• Title: Repairs for Whom? Evaluator-Executor Mismatch in Selecting Repairs for Failed LLM Agents
• Title（参考訳）: 難治性LPM剤の補修方法の選択における評価者・実行者ミスマッチ
• Abstract要約: エージェントが失敗した場合、修理方法はどのアクションを置き換えるか、どのアクションを配置するかを選択する。 これらの評価者は、実際に実行するエージェントを支援する修理を選ぶかどうかを問う。 デプロイされたポリシーの独立的なロールアウトをすべての候補にラベル付けし、各評価者の選択したデプロイメント価値がどれだけ失われるかを測定します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When an LLM agent fails, repair methods choose which action to replace and what to put in its place. They often score candidate repairs with greedy replay, a stronger model, an environment oracle, or a judge that reads the failed log. We ask whether these evaluators pick repairs that help the agent that will actually execute them. Holding failed trajectories and candidate single-step repairs fixed, we label every candidate with independent rollouts of the deployed policy and measure how much deployment value each evaluator's choice loses. On failures not screened for repair value, pre-specified tests show that greedy replay loses 0.08-0.13 in expected net success gain in ALFWorld and 0.06-0.13 in net reward in WebShop, relative to selection with the deployed agent's own rollouts. At an equal rollout budget, selecting repairs for Qwen2.5-7B with Qwen2.5-14B rollouts loses 0.25 in ALFWorld and 0.07 in WebShop, twenty 14B rollouts per candidate are worth no more than two of the 7B agent's own, and fresh rollouts confirm that the two models prefer opposite repairs on selected disagreement cases. Between similar-sized models from different families, the losses appear in both directions in both environments (0.07-0.17). The scoring executor also changes repair-location labels and method rankings. Repairs should be verified with the executor that will run them, and repair labels should name their executor.
• Abstract（参考訳）: LLMエージェントが失敗した場合、修復方法はどのアクションを置き換えるか、どのアクションを配置するかを選択する。 彼らはしばしば、悲惨なリプレイ、より強いモデル、環境の託宣、あるいは失敗したログを読む裁判官で、候補者の修理をスコアする。 これらの評価者は、実際に実行するエージェントを支援する修理を選ぶかどうかを問う。 失敗した軌道と候補の単一ステップの修正を保ちながら、デプロイされたポリシーの独立的なロールアウトをすべての候補にラベル付けし、各評価者の選択したデプロイメント価値がどれだけ失われるかを測定します。 修復値のチェックを受けていない障害について、事前に特定されたテストでは、greedy replayは、ALFWorldで期待される純成功率が0.08-0.13、WebShopで0.06-0.13、デプロイされたエージェント自身のロールアウトに対する選択が0.06-0.13を失うことが示されている。 均等なロールアウト予算では、Qwen2.5-7BとQwen2.5-14BのロールアウトはALFWorldで0.25、WebShopで0.07、候補者1人当たりのロールアウトは7Bエージェントで2つ以上の価値がある。 異なる家系の類似サイズのモデル間では、両方の環境(0.07-0.17)の両方向に損失が現れる。 スコアリングエグゼキュータは、修復位置ラベルやメソッドランキングも変更する。 修復はエグゼキュータで検証され、修復ラベルはエグゼキュータを名付けるべきである。

関連論文リスト

• JevCoder: When Does Decision Delegation Pay Off in Code Repair? [13.491535879221901]
  コーディングエージェントは、コードを修復するときに繰り返し決定を行う。これらの決定は、修復軌跡を形成し、連続するモデル要求のトークンコストに影響を与える。 修理品質を維持しつつトークン使用を減らすため、低コストの確率的審査員にどの修理決定を委譲できるかを問う。 我々は、これらの介入を、裁判官を使わない無誘導修理と、修理モデル自体を裁判官として使用する同じワークフローと比較する。 利益は、判断単独のコストよりも、介入が変化する仕事に依存します。
  論文  参考訳（メタデータ） (2026-10-14T05:11:25Z)
• Does Failure Feedback Direct Agent Self-Modification? [0.304585143845864]
  自己改善エージェントは、エラーフィードバックを使用してコードや命令を修正しますが、選択後の利益は、ターゲット固有の修復や一般化を確立しません。 ランダムに選択された目標故障の修復と、他の障害の修復を比較して、指向性を測定する。 小さなオープンモデルによる制御された命令修正実験は、関連するフィードバックが目標の修復を改善することを示している。
  論文  参考訳（メタデータ） (2026-10-10T07:19:43Z)
• Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
  本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。 StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。 StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
  論文  参考訳（メタデータ） (2026-09-26T08:54:21Z)
• RESKILL: Explicit Failure Attribution and Structured Repair for Interactive Language Agents [19.541361999948858]
  本稿では,修復ラウンド全体にわたって明示的な修復状態を維持する構造的修復フレームワークRESKILLを紹介する。 ALFWorld と TextCraft の RESKILL を固定修理予算下で3つのモデルサイズで評価した。
  論文  参考訳（メタデータ） (2026-09-14T14:55:13Z)
• ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
  実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。 ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。 テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
  論文  参考訳（メタデータ） (2026-09-08T17:53:37Z)
• Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
  BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。 キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。 エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
  論文  参考訳（メタデータ） (2026-07-30T22:32:14Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。