Fugu-MT 論文翻訳(概要): Measuring Security Without Fooling Ourselves: Why Benchmarking Agents Is Hard

論文の概要: Measuring Security Without Fooling Ourselves: Why Benchmarking Agents Is Hard

arxiv url: http://arxiv.org/abs/2605.22568v1
Date: Thu, 21 May 2026 14:47:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-22 16:35:42.308077
Title: Measuring Security Without Fooling Ourselves: Why Benchmarking Agents Is Hard
Title（参考訳）: ベンチマークエージェントを使わずにセキュリティを計測する - なぜベンチマークエージェントは難しいのか
Abstract要約: セキュリティ評価を損なう3つの課題について説明する。これには、ベンチマークの脆弱性、時間的安定性、実行時の不確実性などが含まれる。次に、より堅牢で信頼性の高い評価フレームワークを構築するための実践的な方向性を概説する。
参考スコア（独自算出の注目度）: 27.61954149503329
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The benchmarks used to evaluate AI agents in security-critical roles suffer from crucial weaknesses. Building on recent empirical evidence, we characterize three core challenges that undermine security evaluations: benchmark vulnerabilities, temporal staleness, and runtime uncertainty. We then outline practical directions toward building more robust and trustworthy evaluation frameworks.
Abstract（参考訳）: セキュリティクリティカルな役割におけるAIエージェントの評価に使用されたベンチマークは、重大な弱点に悩まされている。最近の実証的な証拠に基づいて、ベンチマークの脆弱性、時間的安定性、実行時の不確実性といった、セキュリティ評価を損なう3つの中核的な課題を特徴付けます。次に、より堅牢で信頼性の高い評価フレームワークを構築するための実践的な方向性を概説する。

関連論文リスト

Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文参考訳（メタデータ） (2026-05-17T10:26:37Z)
From Leaderboard to Deployment: Code Quality Challenges in AV Perception Repositories [4.603321798937855]
本研究では,KITTIとNuScenes 3D Object Detectionのリーダーボードから178種類のユニークなモデルを体系的に分析した。調査対象となったレポジトリの7.3%が基本生産準備基準を満たしていることがわかった。継続的インテグレーション/継続的デプロイメントパイプラインの採用は、コードメンテナンス性の向上と相関していた。
論文参考訳（メタデータ） (2026-03-02T18:54:28Z)
Towards a Science of AI Agent Reliability [9.570634569436535]
AIエージェントは、重要なタスクを実行するためにますますデプロイされる。標準ベンチマークにおける精度の上昇は急速な進歩を示唆する一方で、多くのエージェントが実際に失敗し続けている。エージェントの信頼性を4つの重要な次元(一貫性、堅牢性、予測可能性、安全性)に沿って分解する12のメトリクスを提案する。
論文参考訳（メタデータ） (2026-02-18T18:05:44Z)
SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
論文参考訳（メタデータ） (2025-11-19T06:46:33Z)
Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks? [58.48689960350828]
エージェントインタフェースにおけるシンプルでモジュール的で,モデルに依存しないディフェンスが,高ユーティリティで完全なセキュリティを実現することを示す。ツール入力ファイアウォール(最小限のファイアウォール)とツール出力ファイアウォール(サニタイザ)の2つのファイアウォールをベースとしたディフェンスを採用している。
論文参考訳（メタデータ） (2025-10-06T18:09:02Z)
SafeEvalAgent: Toward Agentic and Self-Evolving Safety Evaluation of LLMs [37.82193156438782]
本稿では, エージェント安全評価の新しいパラダイムとして, 継続的かつ自己進化的なプロセスとしてのリフレーミング評価を提案する。本稿では、構造化されていないポリシー文書を自律的に取り込み、包括的な安全ベンチマークを生成し、永続的に進化させる、新しいマルチエージェントフレームワークSafeEvalAgentを提案する。本実験はSafeEvalAgentの有効性を実証し,評価が強まるにつれてモデルの安全性が一貫した低下を示す。
論文参考訳（メタデータ） (2025-09-30T11:20:41Z)
Evaluating the Evaluators: Trust in Adversarial Robustness Tests [17.06660302788049]
AttackBenchは、新しい最適度基準に基づいて既存の攻撃実装をランク付けする評価ツールである。このフレームワークは、一貫したテスト条件を実行し、継続的な更新を可能にする。
論文参考訳（メタデータ） (2025-07-04T10:07:26Z)
Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文参考訳（メタデータ） (2025-07-03T17:35:31Z)
Attestable Audits: Verifiable AI Safety Benchmarks Using Trusted Execution Environments [7.462223660305825]
本稿では,Trusted Execution Environments内で動作するAttestable Auditsを提案する。私たちの仕事は、モデルプロバイダと監査官がお互いを信頼していない場合でも、機密データを保護します。
論文参考訳（メタデータ） (2025-06-30T10:29:42Z)
Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
論文参考訳（メタデータ） (2025-05-28T20:22:43Z)
SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文参考訳（メタデータ） (2024-10-14T21:17:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。