論文の概要: Attack Success Rate Is Not a Number: On Measurement Validity in Agentic AI Security Evaluation
- arxiv url: http://arxiv.org/abs/2609.25173v1
- Date: Mon, 21 Sep 2026 14:16:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.050383
- Title: Attack Success Rate Is Not a Number: On Measurement Validity in Agentic AI Security Evaluation
- Title（参考訳）: 攻撃成功率は数字ではない:エージェントAIセキュリティ評価における測定妥当性について
- Abstract要約: 攻撃成功率(ASR)は、LLMエージェントに対する攻撃および防御に関するほぼ全ての公表された評価において、見出しの指標である。
現在使われているASRは、単一の量ではなく、6つの設計選択によってパラメータ化されたメトリクスの族である、と我々は主張する。
- 参考スコア（独自算出の注目度）: 0.13108652488669728
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Attack success rate (ASR) is the headline metric in nearly every published evaluation of attacks on, and defenses for, LLM agents. We argue that ASR as currently used is not a single quantity but a family of metrics parameterized by six design choices that papers seldom specify and never hold constant across the literature. We support this with two studies that require no proprietary access. First, a full-text meta-analysis of 259 agentic-security papers posted to arXiv between February 2025 and September 2026 finds that most report neither a variance estimate nor repeated runs for their headline attack metric: 58% (95% CI 44-71) in a hand-coded random sample of 50, 65.3% by automated coding of all 259. Only 30.9% disclose enough about decoding to establish whether their evaluation was even stochastic, and of the 64 papers we confirm use an LLM judge, 29.7% report any agreement check against human labels. Second, an analytical study shows that these omissions are not cosmetic: on a 100-instance benchmark, the minimum difference in ASR detectable at conventional power is 18.2 percentage points, and two defenses whose true ASRs differ by 5 points are ranked in the wrong order by a single-run evaluation roughly 21% of the time. Because several of the six axes shift ASR in a system-dependent way, the resulting incomparability is not a constant offset that cancels in comparison. We conclude that cross-paper ASR comparison is currently unsupported, and propose a ten-item reporting checklist targeted at each failure we measure. Our aim is not to dispute any individual result but to supply the shared measurement contract the field has so far done without.
- Abstract（参考訳）: 攻撃成功率(ASR)は、LLMエージェントに対する攻撃および防御に関するほぼ全ての公表された評価において、見出しの指標である。
現在使われているASRは1つの量ではなく、6つの設計選択によってパラメータ化されたメトリクスの族であり、論文が文学全体にわたって常に一定を保持することはめったにない。
プロプライエタリなアクセスを必要としない2つの研究でこれをサポートしています。
第一に、2025年2月から2026年9月までにarXivに投稿された259件のエージェント・セキュリティ・ペーパーのフルテキストのメタ分析では、ほとんどの報告では、推定値の見積もりも、見出し攻撃基準の繰り返し実行も行われていない。
30.9%に過ぎず、その評価が確率的かどうかを確認するのに十分な復号法を公表し、64件の論文のうち29.7%は人間のラベルに対する合意の確認を報告している。
第2に、従来のパワーで検出可能なASRの最小差は18.2ポイントであり、真のASRが5ポイント異なる2つのディフェンスは、約21%のタイムラン評価で間違った順にランク付けされている。
6つの軸のうちいくつかは、システム依存的な方法でASRをシフトするため、結果として生じる非互換性は、比較でキャンセルされる一定のオフセットではない。
本稿では, クロスペーパーASR比較が現在サポートされていないことを結論し, 計測する各障害を対象とした10項目の報告チェックリストを提案する。
我々の目的は、個々の結果に異議を唱えるのではなく、これまでフィールドが行ってきた共有計測契約の供給です。
関連論文リスト
- Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。
以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。
モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。
我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
論文 参考訳（メタデータ） (2026-09-01T14:57:59Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation [0.0]
EU AI Actは、ハイリスクシステムのプロバイダに対して、システムが意思決定にどのように到達したかを説明した技術的なドキュメントを提出することを要求する。
機械的解釈可能性(Mechanistic interpretability)はそのような証拠の明らかな源であり、回路発見は最も発達した道具である。
2人の有能なアナリスト、同じシステム、同じツール、異なる保護可能な設定。
論文 参考訳（メタデータ） (2026-08-13T20:27:56Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳（メタデータ） (2026-08-11T16:01:15Z) - How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring [7.789295015218435]
LLMジェイルブレイクとプロンプトインジェクションに関するほぼすべての論文は、アタック・サクセス・レート(ASR)を報告している。
我々は2人の裁判官の家族と人間の多数決を比較して攻撃する。
審査員の精度とリコールを報告し、審査員の精度を補正したASRを報告し、審査員の逆チェックを含めることを推奨する。
論文 参考訳（メタデータ） (2026-06-24T07:14:17Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。