論文の概要: Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness

• arxiv url: http://arxiv.org/abs/2407.01942v1
• Date: Tue, 2 Jul 2024 04:23:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 16:43:59.610939
• Title: Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness
• Title（参考訳）: マルチモーダルなてんかん・失語症に対するベンチマークと基準
• Authors: Khyathi Raghavi Chandu, Linjie Li, Anas Awadalla, Ximing Lu, Jae Sung Park, Jack Hessel, Lijuan Wang, Yejin Choi,
• Abstract要約: 視覚言語AIシステムに特有の不確実性の分類法を提案する。 また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
• 参考スコア（独自算出の注目度）: 106.52630978891054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to acknowledge the inevitable uncertainty in their knowledge and reasoning is a prerequisite for AI systems to be truly truthful and reliable. In this paper, we present a taxonomy of uncertainty specific to vision-language AI systems, distinguishing between epistemic uncertainty (arising from a lack of information) and aleatoric uncertainty (due to inherent unpredictability), and further explore finer categories within. Based on this taxonomy, we synthesize a benchmark dataset, CertainlyUncertain, featuring 178K visual question answering (VQA) samples as contrastive pairs. This is achieved by 1) inpainting images to make previously answerable questions into unanswerable ones; and 2) using image captions to prompt large language models for both answerable and unanswerable questions. Additionally, we introduce a new metric confidence-weighted accuracy, that is well correlated with both accuracy and calibration error, to address the shortcomings of existing metrics.
• Abstract（参考訳）: 知識と推論における必然的不確実性を認識する能力は、真に誠実で信頼性のあるAIシステムにとって必要不可欠である。 本稿では,視覚言語型AIシステムに特有の不確実性を示す分類法を提案する。 この分類に基づくベンチマークデータセットであるCertainlyUncertainを合成し、178Kの視覚的質問応答(VQA)サンプルを対照的なペアとして特徴付ける。 これは達成される 1) あらかじめ回答可能な質問を未解決の質問に塗布する。 2) イメージキャプションを用いて, 解答可能な質問と解答不能質問の両方に対して, 大規模言語モデルを促す。 さらに、既存のメトリクスの欠点に対処するため、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。

関連論文リスト

• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Answering from Sure to Uncertain: Uncertainty-Aware Curriculum Learning for Video Question Answering [63.12469700986452]
  不確実性を考慮したカリキュラム学習(CL)の概念を導入する。 ここで不確実性は、困難を動的に調整するための指針となる。 実際に、我々は、ビデオQAモデルを我々のフレームワークにシームレスに統合し、包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-01-03T02:29:34Z)
• Identifying Drivers of Predictive Aleatoric Uncertainty [2.5311562666866494]
  本稿では,予測的アレタリック不確実性を説明するための簡単なアプローチを提案する。 我々は、ガウス出力分布にニューラルネットワークを適用することにより、不確実性を予測分散として推定する。 我々は、実世界のデータセットを含むニュアンスなベンチマーク分析を用いて、この結果の定量化を行う。
  論文  参考訳（メタデータ） (2023-12-12T13:28:53Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Unified Uncertainty Calibration [43.733911707842005]
  不確実性校正(U2C:emphunified uncertainty calibration)は、アレタリックと不確実性を組み合わせた総合的な枠組みである。 U2Cは、不確実性推定のクリーンな学習理論分析を可能にし、さまざまなImageNetベンチマークでリジェクションや分類よりも優れている。
  論文  参考訳（メタデータ） (2023-10-02T13:42:36Z)
• Flexible Visual Recognition by Evidential Modeling of Confusion and Ignorance [25.675733490127964]
  現実のシナリオでは、典型的な視覚認識システムは、既知のクラスと、未知のクラスイメージにおける排他的誤動作の間の誤分類という、2つの主要な原因の下で失敗する可能性がある。 これらの欠陥に対処するために、フレキシブルな視覚認識は、選択が不確実な場合に複数のクラスを動的に予測し、入力がトレーニング分布から完全に外れたときに予測を拒否するべきである。 本稿では,この2つの不確実性源を主観的論理理論で明確にモデル化することを提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:16:05Z)
• Calibrating Ensembles for Scalable Uncertainty Quantification in Deep Learning-based Medical Segmentation [0.42008820076301906]
  自動画像解析における不確かさの定量化は、多くのアプリケーションで非常に望まれている。 現在の不確実性定量化アプローチは、高次元実世界の問題ではうまくスケールしない。 本研究では,ディープラーニングモデルのアンサンブルを校正し,不確実な定量化測定を行うための,スケーラブルで直感的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:09:48Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。