論文の概要: Uncertainty Estimation by Human Perception versus Neural Models

• arxiv url: http://arxiv.org/abs/2506.15850v1
• Date: Wed, 18 Jun 2025 20:00:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.837084
• Title: Uncertainty Estimation by Human Perception versus Neural Models
• Title（参考訳）: 知覚とニューラルモデルによる不確かさ推定
• Authors: Pedro Mendes, Paolo Romano, David Garlan,
• Abstract要約: 現代のニューラルネットワーク(NN)はしばしば高い予測精度を達成するが、キャリブレーションは不十分である。 NNが推定した不確実性と人間の不確実性について検討する。
• 参考スコア（独自算出の注目度）: 7.702016079410588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural networks (NNs) often achieve high predictive accuracy but remain poorly calibrated, producing overconfident predictions even when wrong. This miscalibration poses serious challenges in applications where reliable uncertainty estimates are critical. In this work, we investigate how human perceptual uncertainty compares to uncertainty estimated by NNs. Using three vision benchmarks annotated with both human disagreement and crowdsourced confidence, we assess the correlation between model-predicted uncertainty and human-perceived uncertainty. Our results show that current methods only weakly align with human intuition, with correlations varying significantly across tasks and uncertainty metrics. Notably, we find that incorporating human-derived soft labels into the training process can improve calibration without compromising accuracy. These findings reveal a persistent gap between model and human uncertainty and highlight the potential of leveraging human insights to guide the development of more trustworthy AI systems.
• Abstract（参考訳）: 現代のニューラルネットワーク(NN)は、しばしば高い予測精度を達成するが、キャリブレーションが不十分であり、間違っていたとしても過信的な予測を生み出す。 この誤解は、確実な不確実性推定が重要となるアプリケーションにおいて深刻な問題を引き起こす。 本研究では,人間の知覚の不確実性が,NNによる不確実性とどのように比較されるかを検討する。 人的不一致とクラウドソースの信頼の両方に注釈を付けた3つの視覚ベンチマークを用いて,モデル予測の不確かさと人間の知覚不確かさの相関性を評価する。 以上の結果から,現在の手法は人間の直感と弱みにしか一致せず,タスクや不確実性指標間で相関が著しく異なることが明らかとなった。 特に,人間由来のソフトラベルをトレーニングプロセスに組み込むことで,精度を損なうことなくキャリブレーションを改善することができることがわかった。 これらの発見は、モデルと人間の不確実性の間に永続的なギャップを明らかにし、より信頼できるAIシステムの開発を導くために人間の洞察を活用する可能性を強調している。

関連論文リスト

• Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching [61.73532883992135]
  本稿では,新しい不確実性を考慮したステレオマッチングフレームワークを提案する。 我々はベイズリスクを不確実性の測定として採用し、データを別々に見積もり、不確実性をモデル化する。
  論文  参考訳（メタデータ） (2024-12-24T23:28:20Z)
• Error-Driven Uncertainty Aware Training [7.702016079410588]
  Error-Driven Uncertainty Aware Trainingは、ニューラル分類器が不確実性を正確に推定する能力を高めることを目的としている。 EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。 画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
  論文  参考訳（メタデータ） (2024-05-02T11:48:14Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Learning Uncertainty with Artificial Neural Networks for Improved Predictive Process Monitoring [0.114219428942199]
  学習可能な不確実性には、トレーニングデータ不足によるモデル不確実性と、ノイズによる観察不確実性がある。 我々の貢献は、これらの不確実性の概念を予測プロセス監視タスクに適用し、不確実性に基づくモデルをトレーニングし、残りの時間と結果を予測することである。
  論文  参考訳（メタデータ） (2022-06-13T17:05:27Z)
• STUaNet: Understanding uncertainty in spatiotemporal collective human mobility [11.436035608461966]
  本研究では,内部データ品質と外部不確実性を同時に推定する不確実性学習機構を提案する。 提案手法は予測と不確かさの両面において優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-09T01:43:27Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。