論文の概要: Does Model Uncertainty Track Human Ambiguity? Evidence from Multi-Annotator Vision Benchmarks

• arxiv url: http://arxiv.org/abs/2609.34506v1
• Date: Mon, 28 Sep 2026 07:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:56:26.690168
• Title: Does Model Uncertainty Track Human Ambiguity? Evidence from Multi-Annotator Vision Benchmarks
• Title（参考訳）: モデル不確かさは人間のあいまいさを追跡するか?マルチアノテーションビジョンベンチマークによる証拠
• Abstract要約: モデルが、人間が困難なと感じているのと同じ事例で苦労しているかどうかを調査する。 3つのアーキテクチャにまたがる8つの事前訓練モデルを評価する。 両次元においてアライメントが弱いことが分かる。
• 参考スコア（独自算出の注目度）: 1.253312107729806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human-model alignment is critical for trustworthy AI-assisted decision-making systems. Yet, most work evaluates model predictions against single ground-truth labels, overlooking that humans themselves often disagree on labels, a signal of genuine ambiguity. We investigate whether models struggle on the same instances that humans find difficult. We measure this on two vision datasets (FER+ and CIFAR-10H) where multiple human annotations per image capture human disagreement patterns. We evaluate eight pretrained models across three architectures (ResNet, EfficientNet, MobileNetV3) in two parts: first, whether model uncertainty (softmax confidence, entropy) correlates with human disagreement, and second, whether predictive multiplicity measures (inter-model disagreement, Jensen-Shannon divergence) do. We find that it does not: alignment is weak in both dimensions. At the discrete label level, 50.4% of CIFAR-10H images and 33.5% of FER+ images receive multiple valid classifications from humans, while the models converge on only one. These instances represent a critical failure case where humans perceive ambiguity and would request expert review, yet models decide confidently. At the continuous score level, single-model uncertainty correlates weakly with human disagreement ($ρ= 0.24--0.55$), and predictive multiplicity provides only modest improvement. Widely-used uncertainty quantification methods do not reliably identify instances humans find ambiguous. Model uncertainty should not be treated as a trustworthy signal by default for decision-making in high-stakes scenarios.
• Abstract（参考訳）: 人間モデルアライメントは、信頼できるAI支援意思決定システムにとって重要である。 しかし、ほとんどの研究は、人間がしばしばラベルに反対する、真のあいまいさのシグナルを見越して、シングル・グラウンド・トゥルース・ラベルに対するモデル予測を評価している。 モデルが、人間が困難なと感じているのと同じ事例で苦労しているかどうかを調査する。 画像ごとの複数のアノテーションが人間の不一致パターンをキャプチャする2つの視覚データセット(FER+とCIFAR-10H)でこれを計測する。 まず,モデル不確実性(ソフトマックスの信頼性,エントロピー)が人間の不一致と相関するか否か,および予測的乗法(モデル間不一致,ジェンセン=シャノンの偏差)の2つの部分で,事前学習した8つのモデル(ResNet,EfficientNet,MobileNetV3)を評価する。 両次元においてアライメントは弱である。 CIFAR-10H 画像の 50.4% と FER+ 画像の 33.5% は人間から複数の有効な分類を受けており、モデルは1つに収束している。 これらのケースは、人間があいまいさを認識し、専門家のレビューを要求するという、重要な障害ケースを示しているが、モデルは自信を持って決定する。 連続的なスコアレベルでは、単一モデルの不確実性は人間の不一致(ρ=0.24-0.55$)と弱相関し、予測的多重度は控えめな改善しか与えない。 広く使われている不確実性定量化手法は、人間があいまいであると考える事例を確実に特定するものではない。 モデルの不確実性は、高リスクシナリオにおける意思決定において、デフォルトで信頼できる信号として扱われてはならない。

関連論文リスト

• Human-Level Accuracy, Non-Human Strategies: Revealing Model-Human Divergence in Video Physical Reasoning [6.197711956296909]
  ビデオファンデーションモデルは、物理推論のベンチマークで人間レベルの精度に到達した。 これらのモデルは、人間のような前方シミュレーションを実行するのか、あるいは、見える場面で統計正規性を利用するのか? 本研究では,モデル種子とヒトラッカーを集団として扱う分布評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-19T05:39:10Z)
• Matched Outcomes, Divergent Gaze: How Foveated MLLMs Search Compared to Humans [50.71222402701153]
  目標指向検索(COCO-Search18)における3つの汎用大言語モデル(MLLM)と人間の眼球運動スキャンパスを比較した。 いずれも低エントロピー、大振幅、自己整合性のスキャンパスであり、2人の人間が互いに同意するよりもはるかに近い。 このギャップは、回答アライメントとサリエンシのメトリクスが測定できないプロセス軸の上に置かれている。それらが見逃しているため、そのような指標は人間のようなビジョンを証明できない。ゼロショットモデルは結果と空間的疑問に適合するが、時間的、プロセスレベルではない。
  論文  参考訳（メタデータ） (2026-08-17T12:54:39Z)
• The C-index illusion: discrimination without calibration in published survival models [0.0]
  我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。 ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
  論文  参考訳（メタデータ） (2026-07-21T19:13:54Z)
• Incoherent Values? Probing LLM Preferences Through Parametric Variation [0.1753733541634709]
  不合理な価値観を持つ人を信用することは難しい。 大規模言語モデルは、評価コアを持たない単なるテキストジェネレータであると考える人もいる。 時間的理由のあるモデルは、思考障害のあるモデルよりも不整合性が低いことを示す。
  論文  参考訳（メタデータ） (2026-06-19T05:07:34Z)
• Are vision language models robust to uncertain inputs? [5.249651874118556]
  より新しい視覚言語モデルでは、従来のモデルに比べて頑健性が向上したが、それでも厳密な指示に従う傾向にあることを示す。 ImageNetのような自然なイメージでは、パイプラインの変更なしにこの制限を克服することができる。 モデルの内部不確実性を明らかにするために,キャプションの多様性に基づく新しいメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-17T03:16:49Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Partial success in closing the gap between human and machine vision [30.78663978510427]
  数年前、最初のCNNがImageNetで人間のパフォーマンスを上回った。 人間のビジョンとマシンビジョンのギャップを埋める作業は進んでいますか? 我々は、広範囲なアウト・オブ・ディストリビューション(OOD)データセット上で、人間のオブザーバをテストした。
  論文  参考訳（メタデータ） (2021-06-14T13:23:35Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。