論文の概要: Beyond Benchmark Islands: Toward Representative Trustworthiness Evaluation for Agentic AI

• arxiv url: http://arxiv.org/abs/2603.14987v1
• Date: Mon, 16 Mar 2026 08:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:57.884618
• Title: Beyond Benchmark Islands: Toward Representative Trustworthiness Evaluation for Agentic AI
• Title（参考訳）: Benchmark Islandsを超えて - エージェントAIのための代表的信頼性評価を目指す
• Abstract要約: シナリオ多様体に対するエージェントの信頼性を特徴付けるシステム評価パラダイムを提案する。 このフレームワークは,静的認知と政策分析,対話型サンドボックスシミュレーション,社会倫理アライメントアライメントアセスメント,および(iv)分散対応の代表サンプリングエンジンの4つの補完的コンポーネントを統合している。
• 参考スコア（独自算出の注目度）: 45.21562889170875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As agentic AI systems move beyond static question answering into open-ended, tool-augmented, and multi-step real-world workflows, their increased authority poses greater risks of system misuse and operational failures. However, current evaluation practices remain fragmented, measuring isolated capabilities such as coding, hallucination, jailbreak resistance, or tool use in narrowly defined settings. We argue that the central limitation is not merely insufficient coverage of evaluation dimensions, but the lack of a principled notion of representativeness: an agent's trustworthiness should be assessed over a representative socio-technical scenario distribution rather than a collection of disconnected benchmark instances. To this end, we propose the Holographic Agent Assessment Framework (HAAF), a systematic evaluation paradigm that characterizes agent trustworthiness over a scenario manifold spanning task types, tool interfaces, interaction dynamics, social contexts, and risk levels. The framework integrates four complementary components: (i) static cognitive and policy analysis, (ii) interactive sandbox simulation, (iii) social-ethical alignment assessment, and (iv) a distribution-aware representative sampling engine that jointly optimizes coverage and risk sensitivity -- particularly for rare but high-consequence tail risks that conventional benchmarks systematically overlook. These components are connected through an iterative Trustworthy Optimization Factory. Through cycles of red-team probing and blue-team hardening, this paradigm progressively narrows the vulnerabilities to meet deployment standards, shifting agent evaluation from benchmark islands toward representative, real-world trustworthiness. Code and data for the illustrative instantiation are available at https://github.com/TonyQJH/haaf-pilot.
• Abstract（参考訳）: エージェントAIシステムは、静的な質問応答から、オープンエンド、ツール拡張、マルチステップの現実世界ワークフローへと移行するにつれて、その権限の増大は、システムの誤用と運用上の失敗のリスクを増大させる。 しかし、現在の評価プラクティスは断片化され続けており、コーディング、幻覚、ジェイルブレイク抵抗、狭義の設定でのツール使用などの孤立した機能を測定する。 エージェントの信頼性は、非連結なベンチマークインスタンスの集合ではなく、代表的社会技術的シナリオ分布に基づいて評価されるべきである。 この目的のために,タスクタイプ,ツールインターフェース,インタラクションダイナミクス,社会的コンテキスト,リスクレベルにまたがるシナリオ多様体に対して,エージェントの信頼性を特徴付けるシステム評価パラダイムであるHoloographic Agent Assessment Framework (HAAF)を提案する。 このフレームワークは4つの補完的なコンポーネントを統合している。 (i)静的認知・政策分析 (II)対話型サンドボックスシミュレーション 三 社会的倫理的アライメントの評価、及び (iv) 従来のベンチマークが体系的に見落としている稀だが高頻度のテールリスクに対して、カバレッジとリスク感度を共同で最適化する分散対応の代表サンプリングエンジン。 これらのコンポーネントは、反復的な信頼に値する最適化ファクトリを介して接続されます。 レッドチームプローブとブルーチームのハードニングのサイクルを通じて、このパラダイムは、デプロイ標準を満たすために脆弱性を徐々に狭め、エージェント評価をベンチマーク島から、代表的で現実的な信頼性へとシフトさせます。 説明的なインスタンス化のためのコードとデータはhttps://github.com/TonyQJH/haaf-pilot.comで公開されている。

関連論文リスト

• AgentCanary: A Security Evaluation Framework for Autonomous AI Agents in Real Executable Environments [32.982317538632806]
  本稿では,自律型AIエージェントの総合的セキュリティ評価フレームワークであるAgentCanaryを提案する。 AgentCanaryは3つのコントリビューションに沿って、システマティックなソリューションを提供する。 我々は,AgentCanaryのフロンティアモデルに対して,複数の確立した敵攻撃手法に対して,幅広いフロンティアモデルを評価する。
  論文  参考訳（メタデータ） (2026-06-09T06:55:37Z)
• From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
  ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
  論文  参考訳（メタデータ） (2026-06-07T13:34:55Z)
• The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development? [80.24951682268332]
  本稿では,自律エージェント開発のためのフロンティアモデルのキャパシティをテストするための評価フレームワークであるMeta-Agent Challenge(MAC)を紹介する。 評価の整合性を確保するため、このフレームワークは報奨ハッキングに対する多層防御によって確保される。 メタエージェントは人間工学的な基本方針とほとんど一致せず、その一部はプロプライエタリなフロンティアモデルに支配されている。
  論文  参考訳（メタデータ） (2026-06-03T04:58:17Z)
• Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
  エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。 この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。 各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
  論文  参考訳（メタデータ） (2026-05-17T10:26:37Z)
• Rethinking XAI Evaluation: A Human-Centered Audit of Shapley Benchmarks in High-Stakes Settings [8.934085986179019]
  共有価値は、説明可能なAIの基盤だが、競合する定式化への拡散は、断片化された風景を生み出している。 8つのShapley変種間のセマンティックな差異を分離するために、統一アモータイズされたフレームワークを使用します。 空間性や忠実性などの標準的な定量的指標は、人間の知覚的明確性や決定性から切り離されている。
  論文  参考訳（メタデータ） (2026-04-24T15:38:44Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• A Systematic Security Evaluation of OpenClaw and Its Variants [26.64519805689193]
  本稿では,6つの代表的なOpenClaw-Seriesエージェントフレームワークのセキュリティ評価について述べる。 エージェント実行ライフサイクル全体にわたって、代表的な攻撃行動をカバーする205のテストケースのベンチマークを構築した。 以上の結果から, 評価されたエージェントはいずれも重大なセキュリティ上の脆弱性を示し, エージェント化されたシステムは, 基礎となるモデルよりもかなりリスクが高いことがわかった。
  論文  参考訳（メタデータ） (2026-04-03T15:52:36Z)
• The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
  本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。 この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
  論文  参考訳（メタデータ） (2026-02-19T06:56:01Z)
• The Necessity of a Unified Framework for LLM-Based Agent Evaluation [46.631678638677386]
  汎用エージェントは基本的な進歩を見てきた。 これらのエージェントを評価すると、静的QAベンチマークと区別する固有の課題が提示される。 エージェント評価の厳格な向上には統一評価フレームワークが不可欠である。
  論文  参考訳（メタデータ） (2026-02-03T08:18:37Z)
• The Shadow Self: Intrinsic Value Misalignment in Large Language Model Agents [37.75212140218036]
  コントロの損失リスクを定式化し、これまで過小評価されていた内因性価値の相違(内因性VM)を識別する。 次に、このリスクを体系的に評価するシナリオ駆動フレームワークであるIMPRESSを紹介します。 我々は,21種類のLLMエージェント上での固有のVMの評価を行い,モデル間での安全性のリスクが広く見られることを発見した。
  論文  参考訳（メタデータ） (2026-01-24T07:09:50Z)
• RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
  大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。 リスク概念空間を再構築する理論的枠組みを導入する。 マルチエージェント協調評価フレームワークRADARを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:35:32Z)
• Mind the Gap: Evaluating Model- and Agentic-Level Vulnerabilities in LLMs with Action Graphs [1.036334370262262]
  本稿では,エージェント実行を粒度のアクションとコンポーネントグラフに分解する可観測性に基づく評価フレームワークであるAgenSeerを紹介する。 モデルレベルとエージェントレベルの脆弱性プロファイルの根本的な違いを示す。 エージェントレベルの評価は、従来の評価には見えないエージェント固有のリスクを明らかにする。
  論文  参考訳（メタデータ） (2025-09-05T04:36:17Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。