論文の概要: Counterexamples as Feedback for Agent Self-Correction
- arxiv url: http://arxiv.org/abs/2609.02892v1
- Date: Wed, 01 Jul 2026 06:08:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.447287
- Title: Counterexamples as Feedback for Agent Self-Correction
- Title(参考訳): エージェント自己補正のフィードバックとしての反例
- Abstract要約: 単一ターンのコード生成メトリクスは、デプロイされたエージェントの中央のプロパティとして、具体的なフィードバックを受けた後に間違ったアーティファクトを修復できるかどうかを規定します。
本稿では,A-CEGISについて述べる。A-CEGISは,自然言語とレジェックス合成におけるマルチターン改良の評価のためのフィードバックとして,反例を用いるフレームワークである。
その結果、A-CEGISは、元の保留ケースを超えて実践的なチェックを加えながら、エージェントがターン間でどれだけ効率良く改善するかを測定した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-turn code-generation metrics understate a central property of deployed agents: whether they can repair a wrong artifact after receiving concrete feedback. This paper presents A-CEGIS, a lightweight framework that uses counterexamples as feedback for evaluating multi-turn refinement in natural-language-to-regex synthesis. An agent proposes a regex, a deterministic oracle checks it under full-match semantics, and compact false-positive or false-negative witnesses guide the next turn. On 30 NL-RX-Turk tasks, diagnostic counterexample feedback solves 90\% of tasks within a four-turn ablation budget, compared with 17% for zero-shot generation, 27% for generic self-correction, and 23% for error-only feedback. In a full diagnostic run with hardening, all tasks are solved on the hidden set by the final turn, with mean time-to-success of 2.7 turns and robust success of 77% after targeted probing. These results show that A-CEGIS measures how efficiently an agent improves across turns while adding a practical robustness check beyond the original held-out cases.
- Abstract(参考訳): 単一ターンのコード生成メトリクスは、デプロイされたエージェントの中央のプロパティとして、具体的なフィードバックを受けた後に間違ったアーティファクトを修復できるかどうかを規定します。
本稿では,A-CEGISについて述べる。A-CEGISは,反例をフィードバックとして用い,自然言語-レジェクス合成におけるマルチターン改良の評価を行う軽量フレームワークである。
エージェントがregexを提案し、決定論的オラクルがそれをフルマッチのセマンティクスの下でチェックし、コンパクトな偽陽性または偽陰性証人が次のターンを案内する。
30のNL-RX-Turkタスクでは、診断反例フィードバックが4ターンアブレーション予算内の90%のタスクを解決し、ゼロショット生成では17%、ジェネリック自己補正では27%、エラーのみフィードバックでは23%である。
ハードニングを伴う完全な診断実行では、すべてのタスクが最終ターンによって隠されたセットで解決され、平均2.7ターンのタイム・ツー・サクセスと、目標探索後のロバストな成功率は77%である。
これらの結果から, A-CEGISは, 元の保留ケースを超えた実用的堅牢性チェックを付加しながら, エージェントがターンをまたいで効率良く改善できることが示唆された。
関連論文リスト
- TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents [1.1279808969568255]
TwinCheckは、トレースがトレースローカル障害仮説に結びついている証拠条件を満たす場合にのみ、置換を検討するポリシーである。
ペア評価の場合、正確なリプレイはエージェントのパースされた応答とアクションを保持し、最初の置換が受け入れられるまで固定される。
論文 参考訳(メタデータ) (2026-09-22T18:09:40Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳(メタデータ) (2026-08-09T22:59:13Z) - Agent Reinforcement Learning via Pivotal-Aware Self-Feedback Retry [14.02751159295063]
本稿では,大規模言語モデル (LLM) エージェントにおける経験的活用のための自己フィードバック再試行フレームワークであるPivoARLを提案する。
PivoARLは、構造的反射によるピボットの誤った回転を識別し、対応するピボット状態からのみ局所的な再試行を行う。
PivoARLはすべてのタスクでPass@2/3の大幅な改善を実現しており、MetaRLよりも平均11.5%向上している。
論文 参考訳(メタデータ) (2026-07-04T04:45:05Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks [0.0]
他のエージェントやエンジニアが残した部分的な状態からタスクを中断し、再割り当てし、レビューし、再開するからです。
前任者の作業が不透明あるいは不完全である場合に課される再検討コスト。
我々の乗っ取りプロトコルは、決定論的ハンドオフポイントで符号化エージェントを中断し、リポジトリを凍結し、4つのハンドオフビューで後継エージェントを評価する。
論文 参考訳(メタデータ) (2026-06-01T20:40:38Z) - Self-Healing Agentic Orchestrators for Reliable Tool-Augmented Large Language Model Systems [0.10210859604701106]
セルフヒーリングエージェントオーケストレータは、信頼性をランタイム境界制御問題として扱う。
セルフヒーリングは98.8%のタスク成功を達成し、リトライオンリーでは94.5%、フルリプランでは93.8%を達成している。
論文 参考訳(メタデータ) (2026-05-31T19:27:22Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳(メタデータ) (2026-05-27T19:57:15Z) - Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents [6.158612515104146]
エージェントフィードバックとレビュアーフィードバックのトレードオフを測定するために、ヘルプフルネス・ハームフルネスメトリクスを導入します。
我々はBFCLとTau2-Bench(マルチターンステートフルシナリオ)に対するアプローチを評価し、無関係検出では+5.5%、マルチターンタスクでは+7.1%を達成した。
GPT-4oでは,評価モデルo3-miniが3:1の利益率と2.1:1の利益率を達成した。
論文 参考訳(メタデータ) (2026-04-29T22:09:47Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳(メタデータ) (2025-05-17T04:16:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。