論文の概要: Variance-Bounded Evaluation of Entity-Centric AI Systems Without Ground Truth: Theory and Measurement

• arxiv url: http://arxiv.org/abs/2509.22751v2
• Date: Mon, 03 Nov 2025 20:40:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.452002
• Title: Variance-Bounded Evaluation of Entity-Centric AI Systems Without Ground Truth: Theory and Measurement
• Title（参考訳）: 地中真理のないエンティティ中心型AIシステムの変数境界評価:理論と測定
• Authors: Kaihua Ding,
• Abstract要約: 本稿では,エンティティ中心型AIシステムのための分散境界評価フレームワークであるVB-Scoreを紹介する。 VB-Scoreは制約緩和とモンテカルロサンプリングを通じて可算解釈を列挙する。 そして、システムの堅牢性を評価するために、システムアウトプットを解釈を越えて予測される成功によって評価し、分散によって罰する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable evaluation of AI systems remains a fundamental challenge when ground truth labels are unavailable, particularly for systems generating natural language outputs like AI chat and agent systems. Many of these AI agents and systems focus on entity-centric tasks. In enterprise contexts, organizations deploy AI systems for entity linking, data integration, and information retrieval where verification against gold standards is often infeasible due to proprietary data constraints. Academic deployments face similar challenges when evaluating AI systems on specialized datasets with ambiguous criteria. Conventional evaluation frameworks, rooted in supervised learning paradigms, fail in such scenarios where single correct answers cannot be defined. We introduce VB-Score, a variance-bounded evaluation framework for entity-centric AI systems that operates without ground truth by jointly measuring effectiveness and robustness. Given system inputs, VB-Score enumerates plausible interpretations through constraint relaxation and Monte Carlo sampling, assigning probabilities that reflect their likelihood. It then evaluates system outputs by their expected success across interpretations, penalized by variance to assess robustness of the system. We provide formal theoretical analysis establishing key properties including range, monotonicity, and stability along with concentration bounds for Monte Carlo estimation. Through case studies on AI systems with ambiguous inputs, we demonstrate that VB-Score reveals robustness differences hidden by conventional evaluation frameworks, offering a principled measurement framework for assessing AI system reliability in label-scarce domains.
• Abstract（参考訳）: AIシステムに対する信頼性の高い評価は、特にAIチャットやエージェントシステムのような自然言語出力を生成するシステムにおいて、基礎的な真理ラベルが利用できない場合、依然として根本的な課題である。 これらのAIエージェントやシステムは、エンティティ中心のタスクに重点を置いている。 エンタープライズ環境では、エンティティリンク、データ統合、情報検索のためのAIシステムをデプロイする。 学術的なデプロイメントは、曖昧な基準で専門的なデータセット上でAIシステムを評価する際に、同様の課題に直面します。 教師付き学習パラダイムに根ざした従来の評価フレームワークは、単一の正しい回答が定義できないようなシナリオでは失敗する。 VB-Scoreは,実効性とロバスト性を共同で測定することで,真理なしに動作可能な,エンティティ中心のAIシステムを対象とした分散バウンド評価フレームワークである。 系の入力が与えられたとき、VB-Scoreは制約緩和とモンテカルロサンプリングを通じて可算解釈を列挙し、確率を反映する確率を割り当てる。 そして、システムの堅牢性を評価するために、システムアウトプットを解釈を越えて予測される成功によって評価し、分散によって罰する。 我々は、モンテカルロ推定のための濃度境界とともに、範囲、単調性、安定性を含む重要な性質を確立する公式な理論的解析を提供する。 あいまいな入力を持つAIシステムのケーススタディを通じて、VB-Scoreは従来の評価フレームワークに隠された堅牢性の違いを明らかにし、ラベルスカースドメインにおけるAIシステムの信頼性を評価するための基本的な測定フレームワークを提供する。

関連論文リスト

• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• SEOE: A Scalable and Reliable Semantic Evaluation Framework for Open Domain Event Detection [70.23196257213829]
  オープンドメインイベント検出のためのスケーラブルで信頼性の高いセマンティックレベルの評価フレームワークを提案する。 提案フレームワークはまず,現在7つの主要ドメインをカバーする564のイベントタイプを含む,スケーラブルな評価ベンチマークを構築した。 次に,大言語モデル(LLM)を自動評価エージェントとして活用し,意味的類似ラベルのきめ細かい定義を取り入れた意味的F1スコアを計算する。
  論文  参考訳（メタデータ） (2025-03-05T09:37:05Z)
• ValUES: A Framework for Systematic Validation of Uncertainty Estimation in Semantic Segmentation [2.1517210693540005]
  不確実性推定は、セマンティックセグメンテーション法において不可欠で研究の難しい要素である。 データ関連とモデル関連の不確実性は実際に分離できるのか? 不確実性手法のどのコンポーネントが現実世界のパフォーマンスに欠かせないのか?
  論文  参考訳（メタデータ） (2024-01-16T17:02:21Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
  不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。 皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。