論文の概要: A Unified Evaluation Framework for Trustworthy Large Language Models, Agentic AI, and Multimodal Systems
- arxiv url: http://arxiv.org/abs/2609.19524v2
- Date: Fri, 18 Sep 2026 01:42:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.708298
- Title: A Unified Evaluation Framework for Trustworthy Large Language Models, Agentic AI, and Multimodal Systems
- Title（参考訳）: 信頼できる大言語モデル,エージェントAI,マルチモーダルシステムのための統一評価フレームワーク
- Abstract要約: 大規模言語モデル(LLM)、エージェントシステム、マルチモーダルモデル(MLLM)は異なる形式のアセスメントを必要とする。
本研究では,出力レベル,軌道レベル,モード間評価を8次元で結合する統合フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 5.223442930058446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmark scores alone provide an incomplete basis for assessing the trustworthiness of modern artificial intelligence systems. Large language models (LLMs), agentic systems, and multimodal models (MLLMs) require different forms of assessment, yet their evaluation evidence must remain interpretable for development and oversight. We propose a unified framework that connects output-level, trajectory-level, and cross-modal assessment through eight trustworthiness dimensions: capability, robustness, safety, fairness, transparency, governance, oversight, and efficiency. The framework preserves system-specific metrics while mapping native measurements to common performance bands, accompanied by uncertainty estimates and traceable evidence. A meta-evaluation layer examines the validity, reliability, and reproducibility of the evaluation itself. Multidimensional profiles expose strengths and weaknesses, while safety-critical overrides prevent aggregate scores from masking critical failures. Mappings to governance frameworks, international standards, and European Union regulatory requirements connect technical assessment with oversight needs. The framework provides a structured basis for assessing both system performance and the credibility of the evidence supporting it, with empirical validation across deployment contexts remaining an essential next step.
- Abstract（参考訳）: ベンチマークスコアだけでは、現代の人工知能システムの信頼性を評価するための不完全な基礎を提供する。
大規模言語モデル(LLM)、エージェントシステム、マルチモーダルモデル(MLLM)は異なる形式の評価を必要とするが、それらの評価証拠は開発と監視のために解釈されなければならない。
本研究では,信頼度,信頼性,安全性,公正性,透明性,ガバナンス,監視,効率の8つの側面を通じて,アウトプットレベル,トラジェクトリレベル,クロスモーダルアセスメントを結合する統合フレームワークを提案する。
このフレームワークは、システム固有のメトリクスを保存し、ネイティブ測定を一般的なパフォーマンスバンドにマッピングする。
メタ評価層は、評価自体の妥当性、信頼性、再現性を調べる。
多次元プロファイルは強度と弱点を露呈する一方、安全クリティカルなオーバーライドはアグリゲーションスコアが致命的な失敗を隠蔽するのを防ぐ。
ガバナンスフレームワーク、国際標準、欧州連合の規制要件へのマッピングは、技術的アセスメントと監視上のニーズを結びつける。
このフレームワークは、システムパフォーマンスとそれをサポートする証拠の信頼性の両方を評価するための構造化された基盤を提供する。
関連論文リスト
- Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels [53.63220028820581]
身体的知性は、学習した知覚と意思決定をリアルタイムの計算、制御、物理的相互作用と統合する。
我々は,信頼に値するインテリジェンスを,特定のタスクを確実に実行するための持続能力として定義する。
論文 参考訳（メタデータ） (2026-07-28T17:50:44Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - Towards trustworthy agentic AI: a comprehensive survey of safety, robustness, privacy, and system security [57.35851886874902]
エージェントAIシステムは、複雑なタスクを自律的に実行するが、その多段階の軌道には、信頼性に挑戦する新たな障害モードが導入されている。
この調査では、リスクの高いデプロイメントに不可欠な2つのコアディメンションを通じて、信頼できるエージェントAIを精査する。
各次元について、重要な概念を明確にし、エージェントワークフローに沿ってリスクが発生する場所を特定し、ステージ目標の緩和戦略を要約する。
論文 参考訳（メタデータ） (2026-05-17T10:26:37Z) - Leveraging Large Language Models for Trustworthiness Assessment of Web Applications [13.909850314037653]
本研究では,大規模言語モデル(LLM)を活用したWebアプリケーションの信頼性評価を自動化する実証的手法を提案する。
本稿では,LSP(Logic Score of Preference)に基づく階層品質モデルの拡張を提案する。
実験結果から,過度な構造的コンテキストがノイズを発生させる可能性が示唆された。
論文 参考訳（メタデータ） (2026-03-24T23:33:54Z) - LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。
LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。
LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
論文 参考訳（メタデータ） (2025-08-07T14:46:30Z) - Structured Relevance Assessment for Robust Retrieval-Augmented Language Models [0.0]
本稿では,ALMのロバスト性を高める構造的妥当性評価フレームワークを提案する。
提案手法では,セマンティックマッチングとソース信頼性の両方を考慮した多次元スコアリングシステムを採用している。
予備評価では、幻覚率の大幅な低下と推論過程の透明性の向上が示されている。
論文 参考訳（メタデータ） (2025-07-28T19:20:04Z) - REVAL: A Comprehension Evaluation on Reliability and Values of Large Vision-Language Models [59.445672459851274]
REVALは、Large Vision-Language Modelsの textbfREliability と textbfVALue を評価するために設計された包括的なベンチマークである。
REVALには144K以上の画像テキストビジュアル質問回答(VQA)サンプルが含まれており、信頼性と価値の2つの主要なセクションで構成されている。
主流のオープンソースLVLMや,GPT-4oやGemini-1.5-Proといった著名なクローズドソースモデルを含む26のモデルを評価した。
論文 参考訳（メタデータ） (2025-03-20T07:54:35Z) - MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels [16.300463494913593]
大規模言語モデル (LLM) には堅牢な信頼度推定が必要である。
McQCA-Evalは、自然言語生成における信頼度を評価するための評価フレームワークである。
論文 参考訳（メタデータ） (2025-02-20T05:09:29Z) - Assessing the Trustworthiness of Electronic Identity Management Systems: Framework and Insights from Inception to Deployment [9.132025152225447]
本稿ではDISTAF(Digital Identity Systems Trustworthiness Assessment Framework)を紹介する。
65以上のメカニズムと、国際標準や技術ガイドラインから派生した400以上のメトリクスによって支援されている。
我々は, Modular Open Source Identity Platform (MOSIP) インスタンスを用いた実世界の実装による DISTAF の応用を実演する。
論文 参考訳（メタデータ） (2025-02-15T11:26:30Z) - Trustworthiness for an Ultra-Wideband Localization Service [2.4979362117484714]
本稿では,超広帯域自己ローカライゼーションのための総合的信頼性評価フレームワークを提案する。
我々の目標は、客観的な証拠に基づいてシステムの信頼性を評価するためのガイダンスを提供することである。
我々のアプローチは、結果の信頼性指標が、選択された現実世界の脅威に対応することを保証します。
論文 参考訳（メタデータ） (2024-08-10T11:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。