論文の概要: AI Evaluation Should Measure Verification Cost, Not Correctness Alone

• arxiv url: http://arxiv.org/abs/2608.08709v1
• Date: Sun, 09 Aug 2026 13:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.92196
• Title: AI Evaluation Should Measure Verification Cost, Not Correctness Alone
• Title（参考訳）: AI評価は検証コストを計測すべきであり、正確性は必要ではない
• Abstract要約: 私たちは、現在の評価指標が重大な障害モードを見落としていると論じています。 VCEは、出力自体のいかなる特性よりも、予算内での正確な識別の失敗によって、運用的に定義される。
• 参考スコア（独自算出の注目度）: 1.3124513975412253
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The reliability of AI generative models is typically measured by output correctness, yet in practice it depends on the effort required to verify those outputs. We argue that current evaluation metrics overlook a critical failure mode: Verification-Cost Errors (VCEs), defined as incorrect input-output pairs that a declared fraction of the verifier population fails to identify within the verification budget available in a given deployment context. Unlike standard notions of "hallucination", VCEs are defined operationally, by the failure of correct identification within budget rather than by any property of the output itself. Plausibility and authoritative presentation are hypothesised contributors to that failure, not defining conditions. To capture this asymmetry, we introduce the notion of verification cost relative to a deployment budget as an operational dimension that current evaluation does not routinely capture. The quantity is presented as a conceptual instrument rather than a finalized metric. Evidence from code generation and multi-modal document understanding shows that high benchmark accuracy can mask significant verification effort in practice. We therefore take the position that correctness alone is insufficient as a measure of reliability. AI evaluation should explicitly account for verification cost, reflecting whether errors can be detected under realistic resource constraints.
• Abstract（参考訳）: AI生成モデルの信頼性は通常、出力の正確性によって測定されるが、実際にはそれらの出力を検証するのに必要な労力に依存する。 検証コストエラー (Verification-Cost Errors, VCEs) とは、検証対象者の集団の宣言された割合が、所定のデプロイメントコンテキストで利用可能な検証予算の範囲内で識別できない、誤った入出力ペアとして定義されるものである。 幻覚」の標準的な概念とは異なり、VCEは出力自体のいかなる性質よりも予算内で正確な識別ができないことによって、運用的に定義される。 可塑性と信頼性のあるプレゼンテーションは、条件を定義するのではなく、その失敗に寄与する仮説である。 この非対称性を捉えるために,現在の評価が日常的に捉えない運用次元として,運用予算に対する検証コストの概念を導入する。 この量は、最終的な計量ではなく、概念的な測定器として提示される。 コード生成とマルチモーダル文書理解のエビデンスから、ベンチマークの精度が高いことは、実際にかなりの検証作業を妨げる可能性があることが示されている。 したがって、信頼性の尺度として、正確性だけでは不十分な立場を取る。 AI評価は、現実的なリソース制約の下でエラーを検出することができるかどうかを反映して、検証コストを明示的に考慮する必要がある。

関連論文リスト

• Prediction certification cannot replace explanation certification: a competence envelope for trustworthy AI under compound stress [0.0]
  信頼性のあるモデルと妥協したモデルが,各予測側証明書の下で同一であることを示す。 予測と説明の認定を1つのデプロイ可能な基準に組み合わせたフレームワークを導入する。
  論文  参考訳（メタデータ） (2026-08-21T07:45:17Z)
• The Geometry of Flow-Matching Uncertainty: A Cost-free Uncertainty Proxy and Its Application in Flow-based VLA Failure Detection [40.15880250907137]
  フローマッチング(FM)は、現代のエンボディドモデルにおいて一般的なアクションヘッドパラダイムとなっている。 理想的なアフィン等方性収縮場からの逸脱として不確実性を示す。 我々は,1つの前方通過路からの軌道の曲げを測定するコストフリーの不確実性プロキシであるデノナイジングアクセラレーション(mathrmaccel$)を導入する。
  論文  参考訳（メタデータ） (2026-07-30T09:44:46Z)
• Bayesian control for coding agents [63.64172141184361]
  本稿では,コーディングエージェントのためのコスト依存型シーケンシャル仮説テストフレームワークを提案する。 ベイズ管制官は、正確性に対する信念を維持し、より多くの証拠を集め、候補者を精査し、検証し、停止するかを決定する。 本研究では, 信頼状態が, 不確実性定量化のためのトークン確率と生ツール・サクセスベースラインを上回り, 解釈可能な正当性スコアを得ることを示す。
  論文  参考訳（メタデータ） (2026-06-23T11:41:32Z)
• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• Towards Generation-Efficient Uncertainty Estimation in Large Language Models [6.111244917760012]
  医療やファイナンスといった高度なアプリケーションにLLMをデプロイする上で,不確実性評価が重要である。 既存の手法では、不確実性を推定するために1つ以上の完全な自己回帰世代が必要である。 部分生成や入力のみの情報を用いて有効不確実性を推定できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-05-07T11:39:13Z)
• Justified or Just Convincing? Error Verifiability as a Dimension of LLM Quality [24.614192550852277]
  モデル生成の正当化が、ユーザーが正しい回答を正しく区別するのに役立つかどうかに関して、標準的な手段は存在しない。 我々は、このアイデアを誤り検証可能性として形式化し、正当性によってレーダが解答正当性を正確に評価できるかどうかを測るバランスの取れた指標である$v_textbal$を提案する。 本稿では, 数学的推論のためのリフレクション・アンド・リフレーズ (RR) と, 事実QAのためのオラクル・リフレーズ (OR) の2つの手法を提案する。
  論文  参考訳（メタデータ） (2026-04-06T04:53:59Z)
• K$α$LOS finds Consensus: A Meta-Algorithm for Evaluating Inter-Annotator Agreement in Complex Vision Tasks [4.297070083645049]
  本稿では,「ローカライゼーションファースト」の原理を一般化した統一メタアルゴリズムであるK$LOSを提案する。 合意を査定する前に空間対応を解消することにより,複雑な分類問題を名目上の信頼性に変換する。
  論文  参考訳（メタデータ） (2026-03-28T08:54:05Z)
• On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
  大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。 本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。 我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
  論文  参考訳（メタデータ） (2026-02-14T01:07:45Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Evaluating AI systems under uncertain ground truth: a case study in dermatology [43.8328264420381]
  不確実性を無視することは、モデル性能の過度に楽観的な推定につながることを示す。 皮膚状態の分類では,データセットの大部分が重大な真理不確実性を示すことが判明した。
  論文  参考訳（メタデータ） (2023-07-05T10:33:45Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。