論文の概要: When Compliance Data Masquerades as Evaluation: Measurement Validity for Deployed AI Systems

• arxiv url: http://arxiv.org/abs/2609.13642v1
• Date: Sat, 12 Sep 2026 01:31:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.429795
• Title: When Compliance Data Masquerades as Evaluation: Measurement Validity for Deployed AI Systems
• Title（参考訳）: コンプライアンスデータマストレードの評価 - デプロイされたAIシステムの妥当性の測定
• Abstract要約: デプロイされたAIシステムの評価における繰り返し失敗は、データが比較評価のために設計されたかのように解釈されるときに発生すると論じる。 我々はこの問題を、交通機関固有のデータ制限ではなく、AI評価における測定正当性問題として捉えている。
• 参考スコア（独自算出の注目度）: 1.1957890510931166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We argue that a recurring failure in the evaluation of deployed AI systems occurs when data collected for operational monitoring or regulatory compliance are interpreted as if they were designed for comparative evaluation. Automated driving provides a concrete example of this problem. U.S. disengagement and crash-reporting regimes produce valuable operational evidence, but differences in reporting scope, exposure, deployment domain, event capture, and comparator construction limit the safety claims that can be supported from these measurements alone. We frame this issue as a measurement-validity problem in AI evaluation rather than as a transportation-specific data limitation. We argue that comparative claims about deployed AI systems require alignment between the intended capability, measured outcome, exposure opportunity, deployment domain, data-generation process, and evaluation comparator. Using automated-driving safety evaluation as a case study, we propose an evaluation contract that makes these assumptions explicit before operational data are interpreted as evidence of comparative performance. The broader implication is that data useful for monitoring deployed AI systems are not automatically valid benchmarks for evaluating them.
• Abstract（参考訳）: 我々は、運用監視や規制遵守のために収集されたデータが、比較評価のために設計されたかのように解釈された場合に、デプロイされたAIシステムの評価における繰り返し失敗が発生することを論じる。 自動走行はこの問題の具体例である。 しかし、報告範囲、露出、展開領域、イベントキャプチャー、コンパレータの構成の違いは、これらの測定からのみ支持できる安全クレームを制限している。 我々はこの問題を、交通機関固有のデータ制限ではなく、AI評価における測定正当性問題として捉えている。 デプロイされたAIシステムに関する比較主張は、意図した能力、測定結果、露出機会、デプロイメントドメイン、データ生成プロセス、評価コンパレータの整合性を必要とする。 ケーススタディとして自動走行安全評価を用いて,運用データに比較性能の証拠として解釈される前に,これらの仮定を明確にする評価契約を提案する。 より広範な意味は、デプロイされたAIシステムを監視するのに有用なデータは、それらを評価するための自動的に有効なベンチマークではないということだ。

関連論文リスト

• AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
  AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。 本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
  論文  参考訳（メタデータ） (2026-08-26T11:48:38Z)
• Generative Responsible AI Data Evaluation Schema (GRAIDES) for AI Assurance in Local Government [0.0]
  GRAIDES(Generative Responsible Data Evaluation)は、AI観測可能性の集中化を目的とした軽量なオープンソースデータモデルである。 コード、アーキテクチャ、統計的評価の実践的青写真は、生成系保証へのアプローチに関するガイダンスとして共有されている。
  論文  参考訳（メタデータ） (2026-06-18T22:00:25Z)
• A Full-Pipeline Framework for Evaluating Membership Inference Attacks in Machine Learning [31.096361601691708]
  我々は、機械学習パイプライン全体にわたるプライバシーリスクを特徴付ける包括的な評価フレームワークを導入する。 我々のフレームワークは、幅広いトレーニング構成で最先端のMIAを厳格に評価する。
  論文  参考訳（メタデータ） (2026-05-28T06:48:22Z)
• Offloading Score: Measuring AI Reliance Through Counterfactual Workflows [70.84727355516559]
  私たちは、AIツールにオフロードされた認知活動の分断を定量化する、信頼度尺度であるオフロードスコアを導入します。 本研究は,本質的な計量妥当性評価と制御されたユーザスタディにより,オフロードスコアの検証を行う。 オフロードスコアは、時間制約設定における依存度を著しく高めることを示す。
  論文  参考訳（メタデータ） (2026-05-28T05:44:31Z)
• The Evaluation Differential: When Frontier AI Models Recognise They Are Being Tested [11.663456969895462]
  最近の公表された証拠は、現代のAIモデルが、評価コンテキストを認識し、最近になってそれらを表現し、それらのコンテキスト下では、デプロイメント連続的な条件下でとは異なる振る舞いをすることができることを示している。 これらの結果は、フロンティア評価から引き出された安全結論に対するクレーム正当性問題を生み出していると論じる。 本報告では, 安全クレームのタイプ (ED-stable, ED-degraded, ED-inverted, ED-undetermined) を, 文書発散に基づく保証基準を用いて開発し, TRACE (Test-Recognition Audit for Claim Evaluation) を指定する。 我々は,この枠組みを3件の公文書化された評価事件に遡って適用し,システムカードのガバナンスへの影響,適合性評価,及びガバナンスへの影響について議論する。
  論文  参考訳（メタデータ） (2026-05-12T04:13:35Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• Uncertainty-Aware Measurement of Scenario Suite Representativeness for Autonomous Systems [2.8984355830922692]
  本稿では,学習とテストに使用されるシナリオベースのデータが,システムが安全に動作するように設計された運用条件を反映する程度に,代表性に焦点を当てる。 シナリオスイートによって符号化された特徴の統計的分布と、ターゲット操作領域(TOD)を表す特徴の対応する分布とを比較して、代表性を定量化する確率的手法を提案する。
  論文  参考訳（メタデータ） (2025-11-18T19:05:50Z)
• Variance-Bounded Evaluation of Entity-Centric AI Systems Without Ground Truth: Theory and Measurement [0.0]
  本稿では,エンティティ中心型AIシステムのための分散境界評価フレームワークであるVB-Scoreを紹介する。 VB-Scoreは制約緩和とモンテカルロサンプリングを通じて可算解釈を列挙する。 そして、システムの堅牢性を評価するために、システムアウトプットを解釈を越えて予測される成功によって評価し、分散によって罰する。
  論文  参考訳（メタデータ） (2025-09-26T07:54:38Z)
• Efficient Conformance Checking of Rich Data-Aware Declare Specifications (Extended) [49.46686813437884]
  一般的なデータ型やデータ条件とリッチな設定で,データを考慮した最適アライメントを計算可能であることを示す。 これは、制御フローとデータ依存関係を扱うために、よく知られた2つのアプローチを慎重に組み合わせることで達成される。
  論文  参考訳（メタデータ） (2025-06-30T10:16:21Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training [55.824641135682725]
  WSJ をソースドメインとし,TED-Lium 3 とSWITCHBOARD を併用したドメイン適応実験を行った。
  論文  参考訳（メタデータ） (2020-11-26T18:51:26Z)
• Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics [64.88815792555451]
  評価法は, 評価に用いる翻訳に非常に敏感であることを示す。 本研究では,人的判断に対する自動評価基準の下で,性能改善をしきい値にする方法を開発した。
  論文  参考訳（メタデータ） (2020-06-11T09:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。