論文の概要: Uncertainty-Aware Evaluation for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2402.14418v2
- Date: Sat, 24 Feb 2024 12:30:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 11:43:28.722594
- Title: Uncertainty-Aware Evaluation for Vision-Language Models
- Title(参考訳): 視覚言語モデルの不確実性評価
- Authors: Vasily Kostumov, Bulat Nutfullin, Oleg Pilipenko, Eugene Ilyushin
- Abstract要約: 現在の評価手法は重要な要素である不確実性を見落としている。
精度の高いモデルも高い不確実性を持つ可能性があることを示す。
また, 実験結果から, モデルの不確かさと言語モデル部分との相関が明らかとなった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vision-Language Models like GPT-4, LLaVA, and CogVLM have surged in
popularity recently due to their impressive performance in several
vision-language tasks. Current evaluation methods, however, overlook an
essential component: uncertainty, which is crucial for a comprehensive
assessment of VLMs. Addressing this oversight, we present a benchmark
incorporating uncertainty quantification into evaluating VLMs.
Our analysis spans 20+ VLMs, focusing on the multiple-choice Visual Question
Answering (VQA) task. We examine models on 5 datasets that evaluate various
vision-language capabilities.
Using conformal prediction as an uncertainty estimation approach, we
demonstrate that the models' uncertainty is not aligned with their accuracy.
Specifically, we show that models with the highest accuracy may also have the
highest uncertainty, which confirms the importance of measuring it for VLMs.
Our empirical findings also reveal a correlation between model uncertainty and
its language model part.
- Abstract(参考訳): GPT-4、LLaVA、CagVLMといったビジョン言語モデルは最近、視覚言語タスクにおける印象的なパフォーマンスのために人気が高まっている。
しかしながら、現在の評価手法は、VLMの総合的な評価に欠かせない不確実性という重要な要素を見落としている。
本稿では,VLMの評価に不確実な定量化を取り入れたベンチマークを提案する。
VQA(Multiple-choice Visual Question Answering)タスクに着目し,20以上のVLMを対象として分析を行った。
様々な視覚言語能力を評価する5つのデータセットのモデルについて検討する。
不確実性推定手法として共形予測を用いることで,モデルの不確実性が精度と一致しないことを示す。
具体的には,高い精度を持つモデルが最も不確実性が高い可能性を示し,vlm測定の重要性を確認した。
また,実験結果から,モデル不確かさと言語モデルとの相関性も明らかとなった。
関連論文リスト
- Multi-Perspective Consistency Enhances Confidence Estimation in Large
Language Models [27.63938857490995]
本研究は,大規模言語モデルの信頼性評価の改善に焦点を当てる。
言語モデルにおける自己認識の脆弱さを考慮して,マルチパースペクティブ・一貫性(MPC)法を提案する。
8つの公開データセットの実験結果は、我々のMPCが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2024-02-17T13:37:39Z) - Open-ended VQA benchmarking of Vision-Language models by exploiting
Classification datasets and their semantic hierarchy [32.083896395844924]
本稿では、よく知られた視覚分類データセットに基づく新しいVQAベンチマークを提案する。
また,ラベル空間のセマンティックな階層構造を用いて,基底構造カテゴリに関するフォローアップ質問を自動的に生成することを提案する。
私たちの貢献は、より正確で有意義な評価の基礎を築くことを目的としています。
論文 参考訳(メタデータ) (2024-02-11T18:26:18Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳(メタデータ) (2023-11-26T22:47:54Z) - Decomposing Uncertainty for Large Language Models through Input
Clarification Ensembling [74.00331519233026]
大規模言語モデル(LLM)のための不確実性分解フレームワークを提案する。
我々のフレームワークは入力の一連の明確化を生成し、それらを固定LLMに入力し、対応する予測をアンサンブルする。
実験により,提案手法は様々なタスクに対して正確かつ確実な不確実性定量化を提供することを示した。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - A Survey of Language Model Confidence Estimation and Calibration [91.86126820036058]
言語モデル(LM)は、様々な領域において幅広いタスクにまたがる顕著な機能を示してきた。
優れたパフォーマンスにもかかわらず、そのアウトプットの信頼性は、AIの安全性の要求に関係があり、疑わしい。
本稿では,LMの信頼度推定と校正のための手法と手法について論じる。
論文 参考訳(メタデータ) (2023-11-14T16:43:29Z) - Improving the Reliability of Large Language Models by Leveraging
Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している
本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-07T12:06:53Z) - Ambiguity Meets Uncertainty: Investigating Uncertainty Estimation for
Word Sense Disambiguation [5.55197751179213]
既存の教師付き手法は、WSDを分類タスクとして扱い、優れたパフォーマンスを実現した。
本稿では,WSD 向けに設計されたベンチマークにおける不確実性推定(UE)を広範囲に研究する。
本研究では, モデルが適切に設計されたテストシナリオにおいて, 選択されたUEスコアを用いて, モデルによるデータとモデルの不確実性を捕捉する能力について検討し, モデルの不確実性を十分に反映するが, モデルの不確実性を過小評価する。
論文 参考訳(メタデータ) (2023-05-22T15:18:15Z) - Do Vision-and-Language Transformers Learn Grounded Predicate-Noun
Dependencies? [0.06299766708197882]
制御されたセットアップにおける述語-名詞の依存関係の理解を評価することを目的とした新しいタスクを作成する。
我々は,最先端モデルの評価を行い,そのタスクにおける性能がかなり異なることを確認した。
本研究は,視覚・言語モデルにおけるマルチモーダル知識の正確かつ厳密なテストにおいて,ターゲット評価と制御評価が重要なステップであることを示す。
論文 参考訳(メタデータ) (2022-10-21T16:07:00Z) - Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。
Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。
最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文 参考訳(メタデータ) (2022-07-15T11:39:37Z) - VisFIS: Visual Feature Importance Supervision with
Right-for-the-Right-Reason Objectives [84.48039784446166]
モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。
我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。
説明が妥当で忠実な場合には予測がより正確になる。
論文 参考訳(メタデータ) (2022-06-22T17:02:01Z) - VALSE: A Task-Independent Benchmark for Vision and Language Models
Centered on Linguistic Phenomena [15.984927623688915]
VALSE(Vision And Language Structured Evaluation)は、汎用的な事前学習型視覚と言語(V&L)モデルをテストするための新しいベンチマークである。
VALSEは、様々な言語構造をカバーする6つのテストスイートを提供する。
我々は有効なホイルの構築を支援する手法を用いてVALSEを構築し、5つの広く使われているV&Lモデルの評価結果について報告する。
論文 参考訳(メタデータ) (2021-12-14T17:15:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。