論文の概要: Who Verifies the Graph? Misspecification Attacks on Causal Action Verification for Language Agents
- arxiv url: http://arxiv.org/abs/2609.40027v1
- Date: Wed, 30 Sep 2026 16:02:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.997026
- Title: Who Verifies the Graph? Misspecification Attacks on Causal Action Verification for Language Agents
- Title(参考訳): 誰がグラフを検証しているのか? : 言語エージェントの因果的行動検証における誤識別攻撃
- Abstract要約: Causal Actionはゲートエージェントの状態変化ツールコールを検証する。
そのような検証器の1つ、CIVeXは、確立されたツール使用ベンチマークでゼロの偽実行を報告している。
単一の双方向エッジをオミットすることは、ベンチマークが公表したコンファウンディング強度において、偽の実行をゼロから15.3%に減らす。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Causal action verifiers gate an agent's state-changing tool calls by checking whether each proposed intervention is identifiable against a committed action-state graph, and they issue a certificate that carries the identification argument and a one-sided lower confidence bound. One such verifier, CIVeX, reports zero false executions on a confounded tool-use benchmark. We red-team it by corrupting only the committed graph. Omitting a single bidirected edge takes it from zero false executions to 15.3% at the benchmark's published confounding strength, with 91% of its executions harmful and utility falling from +2.27 to +0.35. Reversing one arrowhead, so that a mediator is committed as a confounder, gives 48.9% false executions and no correct ones. Every one of these actions carries an internally valid certificate. An attestation step that tests each observationally certified execution against a bounded randomised sample detected both attacks, with 2 false alarms in 555 executions on a truthful graph; refusing what fails the test, or cannot be tested, gave zero false executions in every setting we measured. It does not restore beneficial execution: at the published strength 97.1% of beneficial actions are still never executed, because the same misspecification rejects them before attestation runs. Those rejections carry certificates too, and auditing them works, but its cost scales with the number of rejections rather than the number of executions. Recovering safety costs 127 experiments per 1,050 actions; recovering the lost value costs 614 more, at which point the audited verifier makes the honest graph's decisions on every instance and spends exactly its experiment budget. An audit that inspects only executions protects against wrongful action. Wrongful inaction has to be paid for separately.
- Abstract(参考訳): 因果行動検証者は、提案された各介入がコミットされた動作状態グラフに対して識別可能であるかどうかを確認してエージェントの状態変化ツールコールをゲートし、識別引数と一方的な低信頼境界を有する証明書を発行する。
そのような検証器の1つ、CIVeXは、確立されたツール使用ベンチマークでゼロの偽実行を報告している。
コミットしたグラフのみを破損させることで、再チーム化します。
単一双方向エッジのオミネーションは、ベンチマークが公表した不正実行をゼロから15.3%に減らし、その91%は有害で実用性は+2.27から+0.35に低下する。
1つの矢印を逆転することで、仲介者が共同創設者としてコミットされ、48.9%の偽の執行と正しい実行は行わない。
これらのアクションのどれもが、内部で有効な証明書を持っている。
検証ステップでは、各テストが検証されたランダム化されたサンプルに対して、両方の攻撃を検出し、真理グラフ上で555回の実行で2つの偽のアラームを発生させました。
有益な行動の97.1%は、まだ実行されない。
これらの拒否は証明書も持っていて、それを監査するが、そのコストは実行回数よりも拒否の数に比例する。
1,050のアクション毎に安全コスト127の実験を回収し、失った値のコストを614以上回収する。
実行のみを検査する監査は、不正行為から保護する。
不正行為は別々に支払わなければならない。
関連論文リスト
- Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments [8.904042335790534]
34回にわたって、4つのベンチマークで変更ツールを監査し、7つのツール欠陥と1つの評価器特性をピン付きコミットで確認した。
注入された欠陥について、チェッカーは25個のフラグに偽陽性を示さず、5つの負のコントロールのうち2つにフラグを付け、最も多くを逃した。
さらに12のAgentDojoツール、6つのホールドアウトツールと、最初に監査された7つのツールによって、25のツール変更サーフェスが完了した。
論文 参考訳(メタデータ) (2026-09-29T11:50:55Z) - Look Before You Leap: Pre-Action Verification for LLM Agents [0.0]
我々は、アクションが有効になる前に実行される安価な決定論的チェックは、効果的で過小評価されたエージェント監視の形式であると主張している。
シェルコマンドでは、9930以上の静的検証と482のツールが95.8%の無効なコマンドを10.0%の偽陽性率でキャッチする。
コード編集では、640のベンチマークが224ファイル以上を編集し、applyステップを分離すると、シャープな分割が公開される。
論文 参考訳(メタデータ) (2026-08-09T20:05:03Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳(メタデータ) (2026-08-01T18:25:00Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳(メタデータ) (2026-06-09T02:11:01Z) - Hallucination as Exploit: Evidence-Carrying Multimodal Agents [10.441697487723568]
マルチモーダルエージェントはますます、スクリーンショットやドキュメント、Webページからツールコールを選択している。
本稿では,自由形式モデルテキストを不許容な証拠として扱うエビデンス搬送型マルチモーダルエージェント(ECA)を提案する。
ECAは不透明なモデルの信念を検証者、スキーマ、実装レベルで監査可能な残留物に変換する。
論文 参考訳(メタデータ) (2026-05-18T23:40:43Z) - CIVeX: Causal Intervention Verification for Language Agents [0.0]
我々はCIVeXという因果介入検証器を導入し、提案した動作をコミットされた動作状態グラフ上の構造因果クエリにマッピングする。
Causal-ToolBench (1,890のインスタンス、7つのシード)では、CIVeXは中等度および対向的な共起で観測された偽の実行をゼロにする。
IHDPとZOZO Open Bandit(一様にランダムな真実を持つ実運用ログ)では、CIVeXはOracleの正しい実行と0.1pp以内で一致し、ネイティブなベースラインに対して、実行時の偽実行を>=50倍削減する。
論文 参考訳(メタデータ) (2026-05-09T21:06:15Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳(メタデータ) (2026-04-02T01:13:40Z) - When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。
実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。
本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
論文 参考訳(メタデータ) (2026-02-09T18:41:15Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳(メタデータ) (2026-02-04T15:13:35Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳(メタデータ) (2026-01-23T17:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。