論文の概要: Who Verifies the Agent's Success Claim? Self-Report Leakage in GUI-Agent Completion Judging

• arxiv url: http://arxiv.org/abs/2610.29609v1
• Date: Wed, 21 Oct 2026 11:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.351434
• Title: Who Verifies the Agent's Success Claim? Self-Report Leakage in GUI-Agent Completion Judging
• Title（参考訳）: エージェントの成功を誰が証明したか? GUI-Agent Completion Judgingにおける自己申告漏洩
• Abstract要約: 本研究では,個別に記録されたトレースに対して,エージェントの完了債権を調査するトラス監査について検討する。 制御されたアウェア/ブラインド介入は、自己報告リークを明らかにする。 監査者は、465レコードの監査ターゲットセットで0.75--0.78、ホールドアウトバッチ2で0.77--0.81、リコールおよびF1においてクレームアウェア及びプロンプトブラインド制御より優れる。
• 参考スコア（独自算出の注目度）: 15.737958913103705
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In automation pipelines, a GUI agent's confident success report can let downstream stages proceed even when the recorded execution trace does not show that the agent produced the requested outcome. We call this case a dangerous misreport: an unhedged success claim that the trace does not support as causal accomplishment during the run. We study report--trace auditing, which checks an agent's completion claim against an independently recorded trace. A controlled aware/blind intervention reveals self-report leakage: the agent's own self-report changes how completion is judged. The same judge reads the same task and trace; only that self-report is included or withheld. Withholding it improves trace-only dangerous-misreport recall by 43.4 percentage points with Qwen3.5-35B-A3B and 13.3 percentage points with DeepSeek-284B-A13B, with the same trend on held-out Batch 2. This motivates report isolation. The report records what the agent claims, but it must not influence the trace-state judgment. We implement this separation with a structured auditor that separates claim interpretation from claim-blind trace analysis and applies deterministic rules to extracted evidence. Because evidence extraction is separated from the policy that consumes it, the same audit record can be replayed under alternative policies without new model calls. The auditor achieves F1 0.75--0.78 on the 465-record audit-target set and 0.77--0.81 on held-out Batch 2, outperforming claim-aware and prompt-blind controls in recall and F1. Under audit-stage gating, where flag and review both block automatic pass, it blocks 74--90% of dangerous misreports at 45--56% inspection load, or 16--19% of the full in-scope stream after coarse status triage.
• Abstract（参考訳）: 自動化パイプラインでは、GUIエージェントの確実な成功報告は、記録された実行トレースが、エージェントが要求された結果を生成することを示さない場合でも、下流のステージを進行させることができる。 我々はこのケースを危険な誤報と呼んでいる: 未解決の成功は、トレースが実行中に因果的達成としてサポートされないと主張している。 本研究では,個別に記録されたトレースに対して,エージェントの完了債権を調査するトラス監査について検討する。 エージェント自身の自己報告は、完了の判断方法を変える。 同じ裁判官が同じタスクとトレースを読み取る。 Qwen3.5-35B-A3Bで43.4ポイント、DeepSeek-284B-A13Bで13.3ポイント、ホールドアウトバッチ2でも同様の傾向にある。 これはレポートの分離を動機付けます。 報告書は、エージェントが主張するものを記録しているが、それはトレース状態の判断に影響を与えてはならない。 この分離を,クレーム・ブラインド・トレース分析からクレーム・ブラインド・トレース分析を分離した構造化監査機を用いて実施し,証拠抽出に決定論的ルールを適用した。 証拠の抽出は、それを消費するポリシーから分離されるため、同じ監査記録を新しいモデルコールなしで代替ポリシーの下で再生することができる。 監査者は、465レコードの監査ターゲットセットでF1 0.75--0.78を、ホールドアウトバッチ2で0.77--0.81を、リコールおよびF1におけるクレームアウェア及びプロンプトブラインド制御より優れる。 監査段階のゲーティングでは、フラグとレビューの両方が自動パスをブロックし、45～56%の検査負荷で危険なミスレポートの74～99%、または粗いステータストリアージ後の全スコープストリームの16～19%をブロックする。

関連論文リスト

• Beyond Corrected Memory: Execution Consistency in Multi-Agent Systems [42.90481302321822]
  我々は、国家利用、情報ハンドオフ、そして最終状態合意を管理する義務を通じて、実行の一貫性を定義します。 私たちの主張の中核は、同じ保持されたレコードは、同じタスクルールの下での実行に準拠し違反する可能性がある、ということです。 整合性診断と回復のためのフレームワークであるCAVERTを用いて、ログからサポート対象の関係を抽出する。
  論文  参考訳（メタデータ） (2026-10-06T10:29:41Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• From Approval to Execution: Reconstruction-Aware Repair Analysis for LLM-Agent Software [25.642877600581105]
  我々は、表現遷移、依存関係のシンク、消費されたバージョン、許容範囲に関する再構成安定な認可を定式化する。 我々はAPAS-Finderで解析を行い、独立したシンクオラクルが実行を観察する前に予測を凍結する。
  論文  参考訳（メタデータ） (2026-09-22T14:53:03Z)
• When Agent Metrics Measure Different Things: An Evidence-Grounded Audit of the Praxa AI Pipeline [0.0]
  本稿では,選択したPraxa AI実装ファイル,過去の評価アーティファクト,運用記録の振り返り評価を行う。 139ケースのオフラインルーティングレポートには、112回のパスと27回の障害が含まれている。 記録された99番目のパーセンタイルは2,147,483,647 msであり、サーバが保存したコールのうち38,118.31 msである。
  論文  参考訳（メタデータ） (2026-09-10T07:55:12Z)
• FunnelAudit: Responsibility Auditing in Multi-Route Recommender Systems [6.810073531792462]
  マルチルートレコメンデータシステムは、検索、アロケーション、融合、ランキングを組み合わせることで、個別のインクルージョンと除外を監査しにくくする。 本稿では,インシデントレベルの責任監査を行うためのフレームワークであるFunnelAuditを紹介する。 我々は、固定ユニオン、重み付きクォータ割り当て、重み付き相互ランク融合を用いて、2段9ルートのファネルでフレームワークをインスタンス化し、次にSASRecランキングを付ける。
  論文  参考訳（メタデータ） (2026-09-07T03:01:07Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
  正しいパッチの発見と保持、検証、提出のギャップについて検討する。 我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-27T16:05:23Z)
• TRACE-CTI: Auditable Post-Extraction Governance of TTP Claims with Knowledge Graphs [4.960649631468518]
  TRACE-CTIは、抽出後のクレーム管理フレームワークである。 実行レベルの予測を構成レベルのGraphAssertionに集約する。 これはConsensusAssertionsとしてセットアップdedlicated corroborationを具体化する。
  論文  参考訳（メタデータ） (2026-07-27T15:33:18Z)
• Verify-Gated Completion as Admission Control in a Governed Multi-Agent Runtime: A Bounded Architecture Case Study [0.6875312133832079]
  制御されたマルチエージェントランタイムの入出力制御パターンとして,検証ゲート補完について検討する。 観測条件下では,読み取り専用検証ゲートとパケット化入力記録が検査可能で,フェールクロースされた。
  論文  参考訳（メタデータ） (2026-05-18T07:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。