論文の概要: AgentEval: Evidence-Bounded Assessment of Stateful Agents
- arxiv url: http://arxiv.org/abs/2610.21177v1
- Date: Thu, 15 Oct 2026 03:32:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.161513
- Title: AgentEval: Evidence-Bounded Assessment of Stateful Agents
- Title（参考訳）: AgentEval: ステートフルエージェントのエビデンス境界評価
- Abstract要約: 本稿では,契約条件付きアセスメントシステムであるAgentEvalについて紹介する。
エージェントが何をしたか、証拠が何を確立するか、そして現在の使用のために結論が支持されるかどうかを区別する。
- 参考スコア（独自算出の注目度）: 17.499411625063455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task completion alone does not determine whether a stateful agent satisfied its obligations, and a recorded judgment does not guarantee that its supporting evidence remains valid. We present AgentEval, a system that carries a contract-bound assessment record through tool execution, state and event capture, report qualification, and case maintenance. It separates what the agent did, what the evidence establishes, and whether the conclusion is supported for present use. On 32 tool-world administrations, independent checks agree on all 30 complete episodes, distinguishing satisfied, violated, and unresolved obligations; two interrupted administrations are retained. Controlled interventions on 48 evidence views expose 36 binding faults missed by hash-only checks without changing agent behavior. Scenario Studio connects reviewed cases to 12 two-turn reports with 24 independently checked answers. A separate public-benchmark study on 192 held-out executions reveals ten completed return subgoals within broader task failures and isolates the effect of missing evidence. These studies show how an executable assessment record makes scope, evidential support, and report reuse inspectable across an agent evaluation workflow.
- Abstract（参考訳）: タスク完了だけでは、ステートフルエージェントがその義務を果たすかどうかを判断せず、記録された判断は、その証拠が有効であることを保証しない。
本稿では,ツールの実行,状態とイベントのキャプチャ,報告資格,ケースメンテナンスを通じて,契約バウンドアセスメント記録を実行するシステムであるAgentEvalを提案する。
エージェントが何をしたか、証拠が何を確立するか、そして現在の使用のために結論が支持されるかどうかを区別する。
32のツール・ワールド・マネジメントでは、独立したチェックが30の完全なエピソードすべてに合意し、満足、違反、未解決の義務を区別し、2つの中断された管理が維持される。
48のエビデンスビューに対する制御された介入は、エージェントの振る舞いを変えることなく、ハッシュオンリーチェックで見逃された36の結合欠陥を露呈する。
Scenario Studioは、レビューされたケースを、24の独立してチェックされた回答で12の2ターンレポートに接続する。
192件の強制執行に関する別の公開ベンチマーク調査では、広範囲なタスク障害の中で10件の完了したリターンサブゴールが示され、欠落した証拠の影響を分離している。
これらの研究は、実行可能な評価記録が、エージェント評価ワークフロー全体にわたって、スコープ、明白なサポート、およびレポートの再利用を可能にする方法を示している。
関連論文リスト
- From Evidence to Action: How Tool-Using Agents Fail [44.361207294180424]
このエビデンス・ツー・アクション・チェーンは、エージェントが単一アクションの実行に行動するかどうかを決定するため、どこで壊れるかを調査する。
10のモデルハーネスで、強力な静的アクションアセスメントは、より弱いインタラクティブ実行と共存することができる。
論文 参考訳（メタデータ） (2026-10-06T04:50:29Z) - When Tools Silently Lie: Evaluating and Mitigating Blind Compliance in Tool-Augmented Data Agents [0.4665390376528909]
ToxicBenchを導入し、数値、ラベル、スキーマ、検索エラーのチェックと適用を計測する。
3つのアダプタの118タスクのGPT評価では、中毒はタスク成功率を26～39ポイント低下させる。
スコアラーを凍結した後、200の軌道上の人間のアノテーションと比較し、96%のタスク・サクセス・アグリーメントが得られた。
論文 参考訳（メタデータ） (2026-09-29T09:45:17Z) - Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。
タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。
Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
論文 参考訳（メタデータ） (2026-09-24T20:07:53Z) - Intrusion Detection for Agentic Processes: Evidence-Based Runtime Monitoring [0.0]
本稿では,実行時侵入検知のためのエージェント・プロセス侵入検知システム(A-IDS)を提案する。
A-IDSは、エビデンスをサポートする観測結果と、ワークフロー状態、認可、通信、強制イベントのための管理およびバージョン管理された予測ベースラインを比較する。
A-IDSは異常な振る舞いから悪意のある意図を推測せず、観測されていない事象を非発生の証明として扱わず、新しい異常検知器、時間論理、前兆モデルも主張しない。
論文 参考訳（メタデータ） (2026-09-10T14:37:12Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Offline-Verifiable Accountability for Cross-Organization Agent Messaging: A Preserved Evidence-Bundle Approach [0.5801044612920815]
クロスオーガナイゼーション・エージェントは、後の監査または紛争審査において独立して検証可能な証拠を必要とする。
既存のメカニズムは、認証ロギング、デリゲートセマンティクス、署名されたチェックポイント、一貫性チェックなど、有用な部分を提供します。
本稿では,エージェント・ツー・エージェント・ワークフローイベントのためのエビデンスバンドルモデルとポリシー制御オフライン検証手法を提案する。
論文 参考訳（メタデータ） (2026-08-28T17:18:49Z) - Explanation-Bound Tool Execution for AI Agents: Server-Verified Action Claims Without Trusting Model Rationales [4.805352087824778]
説明境界ツール実行(Explanation-Bound Tool Execution)は、意思決定に関連する合理的なコンテンツを型付けされたアクションクレームに変換し、それらをサーバが所有するインテント、ポリシー、ペイロード、ツール、リスク、証明、新鮮な事実に対してチェックする。
我々は,この構成を明示的な調停と信頼性のある仮定の下で形式化し,最小限の監査パケットを用いたバージョン付き参照プロファイルを実装した。
論文 参考訳（メタデータ） (2026-07-28T07:16:12Z) - FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition [54.31138496553705]
日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。
既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。
そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
論文 参考訳（メタデータ） (2026-05-13T08:49:51Z) - Agents of Chaos [50.53354213047402]
実験室環境に展開する自律言語モデルを用いたエージェントの探索的再チームの研究を報告する。
20人のAI研究者が、良心的および敵対的な条件下でエージェントと対話した。
我々の発見は、現実的なデプロイメント設定におけるセキュリティ、プライバシ、ガバナンスに関連する脆弱性の存在を確立します。
論文 参考訳（メタデータ） (2026-02-23T16:28:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。