論文の概要: Beyond Benchmark Islands: Toward Representative Trustworthiness Evaluation for Agentic AI

• arxiv url: http://arxiv.org/abs/2603.14987v1
• Date: Mon, 16 Mar 2026 08:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:57.884618
• Title: Beyond Benchmark Islands: Toward Representative Trustworthiness Evaluation for Agentic AI
• Title（参考訳）: Benchmark Islandsを超えて - エージェントAIのための代表的信頼性評価を目指す
• Authors: Jinhu Qi, Yifan Li, Minghao Zhao, Wentao Zhang, Zijian Zhang, Yaoman Li, Irwin King,
• Abstract要約: シナリオ多様体に対するエージェントの信頼性を特徴付けるシステム評価パラダイムを提案する。 このフレームワークは,静的認知と政策分析,対話型サンドボックスシミュレーション,社会倫理アライメントアライメントアセスメント,および(iv)分散対応の代表サンプリングエンジンの4つの補完的コンポーネントを統合している。
• 参考スコア（独自算出の注目度）: 45.21562889170875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As agentic AI systems move beyond static question answering into open-ended, tool-augmented, and multi-step real-world workflows, their increased authority poses greater risks of system misuse and operational failures. However, current evaluation practices remain fragmented, measuring isolated capabilities such as coding, hallucination, jailbreak resistance, or tool use in narrowly defined settings. We argue that the central limitation is not merely insufficient coverage of evaluation dimensions, but the lack of a principled notion of representativeness: an agent's trustworthiness should be assessed over a representative socio-technical scenario distribution rather than a collection of disconnected benchmark instances. To this end, we propose the Holographic Agent Assessment Framework (HAAF), a systematic evaluation paradigm that characterizes agent trustworthiness over a scenario manifold spanning task types, tool interfaces, interaction dynamics, social contexts, and risk levels. The framework integrates four complementary components: (i) static cognitive and policy analysis, (ii) interactive sandbox simulation, (iii) social-ethical alignment assessment, and (iv) a distribution-aware representative sampling engine that jointly optimizes coverage and risk sensitivity -- particularly for rare but high-consequence tail risks that conventional benchmarks systematically overlook. These components are connected through an iterative Trustworthy Optimization Factory. Through cycles of red-team probing and blue-team hardening, this paradigm progressively narrows the vulnerabilities to meet deployment standards, shifting agent evaluation from benchmark islands toward representative, real-world trustworthiness. Code and data for the illustrative instantiation are available at https://github.com/TonyQJH/haaf-pilot.
• Abstract（参考訳）: エージェントAIシステムは、静的な質問応答から、オープンエンド、ツール拡張、マルチステップの現実世界ワークフローへと移行するにつれて、その権限の増大は、システムの誤用と運用上の失敗のリスクを増大させる。 しかし、現在の評価プラクティスは断片化され続けており、コーディング、幻覚、ジェイルブレイク抵抗、狭義の設定でのツール使用などの孤立した機能を測定する。 エージェントの信頼性は、非連結なベンチマークインスタンスの集合ではなく、代表的社会技術的シナリオ分布に基づいて評価されるべきである。 この目的のために,タスクタイプ,ツールインターフェース,インタラクションダイナミクス,社会的コンテキスト,リスクレベルにまたがるシナリオ多様体に対して,エージェントの信頼性を特徴付けるシステム評価パラダイムであるHoloographic Agent Assessment Framework (HAAF)を提案する。 このフレームワークは4つの補完的なコンポーネントを統合している。 (i)静的認知・政策分析 (II)対話型サンドボックスシミュレーション 三 社会的倫理的アライメントの評価、及び (iv) 従来のベンチマークが体系的に見落としている稀だが高頻度のテールリスクに対して、カバレッジとリスク感度を共同で最適化する分散対応の代表サンプリングエンジン。 これらのコンポーネントは、反復的な信頼に値する最適化ファクトリを介して接続されます。 レッドチームプローブとブルーチームのハードニングのサイクルを通じて、このパラダイムは、デプロイ標準を満たすために脆弱性を徐々に狭め、エージェント評価をベンチマーク島から、代表的で現実的な信頼性へとシフトさせます。 説明的なインスタンス化のためのコードとデータはhttps://github.com/TonyQJH/haaf-pilot.comで公開されている。

関連論文リスト

• The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
  本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。 この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
  論文  参考訳（メタデータ） (2026-02-19T06:56:01Z)
• The Necessity of a Unified Framework for LLM-Based Agent Evaluation [46.631678638677386]
  汎用エージェントは基本的な進歩を見てきた。 これらのエージェントを評価すると、静的QAベンチマークと区別する固有の課題が提示される。 エージェント評価の厳格な向上には統一評価フレームワークが不可欠である。
  論文  参考訳（メタデータ） (2026-02-03T08:18:37Z)
• The Shadow Self: Intrinsic Value Misalignment in Large Language Model Agents [37.75212140218036]
  コントロの損失リスクを定式化し、これまで過小評価されていた内因性価値の相違(内因性VM)を識別する。 次に、このリスクを体系的に評価するシナリオ駆動フレームワークであるIMPRESSを紹介します。 我々は,21種類のLLMエージェント上での固有のVMの評価を行い,モデル間での安全性のリスクが広く見られることを発見した。
  論文  参考訳（メタデータ） (2026-01-24T07:09:50Z)
• RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
  大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。 リスク概念空間を再構築する理論的枠組みを導入する。 マルチエージェント協調評価フレームワークRADARを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:35:32Z)
• Mind the Gap: Evaluating Model- and Agentic-Level Vulnerabilities in LLMs with Action Graphs [1.036334370262262]
  本稿では,エージェント実行を粒度のアクションとコンポーネントグラフに分解する可観測性に基づく評価フレームワークであるAgenSeerを紹介する。 モデルレベルとエージェントレベルの脆弱性プロファイルの根本的な違いを示す。 エージェントレベルの評価は、従来の評価には見えないエージェント固有のリスクを明らかにする。
  論文  参考訳（メタデータ） (2025-09-05T04:36:17Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。