論文の概要: Mind the Uncertainty in Human Disagreement: Evaluating Discrepancies between Model Predictions and Human Responses in VQA

• arxiv url: http://arxiv.org/abs/2410.02773v1
• Date: Tue, 17 Sep 2024 13:44:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 05:54:19.843320
• Title: Mind the Uncertainty in Human Disagreement: Evaluating Discrepancies between Model Predictions and Human Responses in VQA
• Title（参考訳）: 人間の不確かさを意識する:VQAにおけるモデル予測と人間の反応の相違性の評価
• Authors: Jian Lan, Diego Frassinelli, Barbara Plank,
• Abstract要約: 本研究は,視覚質問応答(VQA)タスクに焦点をあてる。 視覚言語モデルが人間の反応の分布とどのように相関するかを評価する。
• 参考スコア（独自算出の注目度）: 26.968874222330978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models frequently struggle to accurately predict responses provided by multiple human annotators, particularly when those responses exhibit human uncertainty. In this study, we focus on the Visual Question Answering (VQA) task, and we comprehensively evaluate how well the state-of-the-art vision-language models correlate with the distribution of human responses. To do so, we categorize our samples based on their levels (low, medium, high) of human uncertainty in disagreement (HUD) and employ not only accuracy but also three new human-correlated metrics in VQA, to investigate the impact of HUD. To better align models with humans, we also verify the effect of common calibration and human calibration. Our results show that even BEiT3, currently the best model for this task, struggles to capture the multi-label distribution inherent in diverse human responses. Additionally, we observe that the commonly used accuracy-oriented calibration technique adversely affects BEiT3's ability to capture HUD, further widening the gap between model predictions and human distributions. In contrast, we show the benefits of calibrating models towards human distributions for VQA, better aligning model confidence with human uncertainty. Our findings highlight that for VQA, the consistent alignment between human responses and model predictions is understudied and should become the next crucial target of future studies.
• Abstract（参考訳）: 大規模な視覚言語モデルは、特に人間の不確実性を示す場合、複数の人間のアノテータによって提供される応答を正確に予測するのにしばしば苦労する。 本研究では,視覚質問応答(VQA)タスクに着目し,現状の視覚言語モデルが人間の反応の分布とどのように相関するかを包括的に評価する。 そこで本研究では,不一致(HUD)における人体不確実性のレベル(低,中,高)に基づいて試料を分類し,精度だけでなく,VQAにおいて新たに3つの人体関連指標を用いてHUDの影響を調査した。 また,モデルと人間との整合性を向上するために,共通校正と人間校正の効果を検証する。 本研究の結果から,現在このタスクの最適モデルであるBEiT3でさえ,多様な人間の反応に固有のマルチラベル分布を捉えるのに苦労していることが明らかとなった。 さらに、一般的に使われている精度指向キャリブレーション技術は、BEiT3がHUDを捕捉する能力に悪影響を及ぼし、モデル予測と人的分布のギャップをさらに広げる。 対照的に、VQAにおける人間の分布に対するモデルの校正の利点が示され、モデルの信頼性と人間の不確実性との整合性が向上した。 我々の研究は、VQAでは、人間の反応とモデル予測の整合性が検討され、今後の研究の次の重要なターゲットとなることを示唆している。

関連論文リスト

• How Aligned are Generative Models to Humans in High-Stakes Decision-Making? [10.225573060836478]
  大規模生成モデル(LM)は、高い意思決定のためにますます検討されている。 この研究は、リシビズム予測の特定のケースにおいて、そのようなモデルが人間や予測AIモデルとどのように比較されるかを検討する。
  論文  参考訳（メタデータ） (2024-10-20T19:00:59Z)
• Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
  我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。 提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
  論文  参考訳（メタデータ） (2024-05-29T06:09:34Z)
• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• Using LLMs to Model the Beliefs and Preferences of Targeted Populations [4.0849074543032105]
  本研究では,人間の嗜好をモデル化する大規模言語モデル (LLM) の整合性について考察する。 特定の集団の信念、好み、行動のモデル化は、様々な応用に有用である。
  論文  参考訳（メタデータ） (2024-03-29T15:58:46Z)
• It HAS to be Subjective: Human Annotator Simulation via Zero-shot Density Estimation [15.8765167340819]
  人間アノテーションシミュレーション(Human Annotator Simulation, HAS)は、データアノテーションやシステムアセスメントなどの人的評価の代用として費用対効果がある。 人間の評価中の人間の知覚と行動は、多様な認知過程と主観的解釈による固有の多様性を示す。 本稿では,HASをゼロショット密度推定問題として扱うメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-30T20:54:59Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Investigations of Performance and Bias in Human-AI Teamwork in Hiring [30.046502708053097]
  AIによる意思決定では、効果的なハイブリッドチームワーク(ヒューマンAI)は、AIのパフォーマンスにのみ依存するものではない。 本研究では,モデルの予測性能とバイアスの両方が,推薦型意思決定タスクにおいてどのように人間に伝達されるかを検討する。
  論文  参考訳（メタデータ） (2022-02-21T17:58:07Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Model-agnostic Fits for Understanding Information Seeking Patterns in Humans [0.0]
  不確実な意思決定タスクでは、人間はそのタスクに関連する情報を探し、統合し、行動する際、特徴的なバイアスを示す。 ここでは,これらのバイアスを総合的に測定・分類した,大規模に収集した先行設計実験のデータを再検討した。 これらのバイアスを集約的に再現するディープラーニングモデルを設計し、個々の行動の変化を捉えます。
  論文  参考訳（メタデータ） (2020-12-09T04:34:58Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。