論文の概要: Post-hoc Probabilistic Vision-Language Models

• arxiv url: http://arxiv.org/abs/2412.06014v1
• Date: Sun, 08 Dec 2024 18:16:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:56:59.756235
• Title: Post-hoc Probabilistic Vision-Language Models
• Title（参考訳）: ポストホック確率的ビジョンランゲージモデル
• Authors: Anton Baumann, Rui Li, Marcus Klasson, Santeri Mentu, Shyamgopal Karthik, Zeynep Akata, Arno Solin, Martin Trapp,
• Abstract要約: 視覚言語モデル(VLM)は、分類、検索、生成タスクにおいて顕著な成功を収めている。 追加トレーニングを必要としないVLMにおけるポストホック不確実性評価を提案する。 この結果から,大規模モデルの安全性クリティカルな応用が期待できることがわかった。
• 参考スコア（独自算出の注目度）: 51.12284891724463
• License:
• Abstract: Vision-language models (VLMs), such as CLIP and SigLIP, have found remarkable success in classification, retrieval, and generative tasks. For this, VLMs deterministically map images and text descriptions to a joint latent space in which their similarity is assessed using the cosine similarity. However, a deterministic mapping of inputs fails to capture uncertainties over concepts arising from domain shifts when used in downstream tasks. In this work, we propose post-hoc uncertainty estimation in VLMs that does not require additional training. Our method leverages a Bayesian posterior approximation over the last layers in VLMs and analytically quantifies uncertainties over cosine similarities. We demonstrate its effectiveness for uncertainty quantification and support set selection in active learning. Compared to baselines, we obtain improved and well-calibrated predictive uncertainties, interpretable uncertainty estimates, and sample-efficient active learning. Our results show promise for safety-critical applications of large-scale models.
• Abstract（参考訳）: CLIPやSigLIPのような視覚言語モデル(VLM)は、分類、検索、生成タスクにおいて顕著な成功を収めている。 このため、VLMは画像とテキスト記述をコサイン類似性を用いて類似性を評価する結合潜在空間に決定論的にマッピングする。 しかし、入力の決定論的マッピングは、下流タスクで使用される場合のドメインシフトに起因する概念に関する不確実性を捉えることに失敗する。 本研究では,付加的なトレーニングを必要としないVLMにおけるポストホック不確実性評価を提案する。 提案手法は,VLMの最終層上でのベイズ後部近似を利用して,コサイン類似性に関する不確かさを解析的に定量する。 能動学習における不確実性定量化と支援セット選択の有効性を示す。 ベースラインと比較すると,予測の不確実性,解釈可能な不確実性推定,サンプル効率のよいアクティブラーニングが得られた。 この結果から,大規模モデルの安全性クリティカルな応用が期待できることがわかった。

関連論文リスト

• BayesAdapter: enhanced uncertainty estimation in CLIP few-shot adaptation [30.435971066422706]
  最先端のCLIPアダプタの識別性能は,その不確実性評価能力と必ずしも相関しないことを示す。 ベイズ推定を利用して1点ではなく全確率分布を推定するベイズアダプタを導入する。 本手法は, キャリブレーションと選択的分類において, 精度の高い不確実性推定値を得る。
  論文  参考訳（メタデータ） (2024-12-12T20:48:06Z)
• Uncertainty-boosted Robust Video Activity Anticipation [72.14155465769201]
  ビデオアクティビティの予測は、ロボットビジョンから自動運転まで幅広い応用可能性を受け入れることで、将来何が起こるかを予測することを目的としている。 近年の進展にもかかわらず、コンテンツ進化過程やイベントラベルの動的相関として反映されたデータ不確実性問題は、何らかの形で無視されている。 本研究では,予測結果の信頼性を示す不確実な値を生成する,不確実性を考慮した頑健なビデオアクティビティ予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-29T12:31:38Z)
• Introspective Deep Metric Learning [91.47907685364036]
  本稿では,不確実性を考慮した画像比較のためのイントロスペクティブな深度学習フレームワークを提案する。 提案するIDMLフレームワークは,不確実性モデリングによるディープメトリック学習の性能を向上させる。
  論文  参考訳（メタデータ） (2023-09-11T16:21:13Z)
• Uncertainty-aware LiDAR Panoptic Segmentation [21.89063036529791]
  本稿では,LiDAR点雲を用いた不確実性を考慮したパノプティックセグメンテーションの課題を解決するための新しいアプローチを提案する。 提案するEvLPSNetネットワークは,この課題をサンプリング不要で効率的に解決する最初の方法である。 我々は、最先端のパン光学セグメンテーションネットワークとサンプリング不要不確実性推定技術を組み合わせた、いくつかの強力なベースラインを提供する。
  論文  参考訳（メタデータ） (2022-10-10T07:54:57Z)
• BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks [50.15201777970128]
  本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。 本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-07-14T12:50:09Z)
• Which models are innately best at uncertainty estimation? [15.929238800072195]
  ディープニューラルネットワークは、リスクに敏感なタスクにデプロイされる場合、不確実性推定機構を備える必要がある。 本稿では,深層建築とその訓練体制との関係について,その選択予測と不確実性推定性能について検討する。
  論文  参考訳（メタデータ） (2022-06-05T11:15:35Z)
• Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
  2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。 フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。 本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
  論文  参考訳（メタデータ） (2021-01-05T18:54:11Z)
• Uncertainty-Aware Few-Shot Image Classification [118.72423376789062]
  ラベル付き限られたデータから新しいカテゴリを認識できる画像分類はほとんどない。 画像分類のための不確実性を考慮したFew-Shotフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-09T12:26:27Z)
• Probabilistic Deep Learning for Instance Segmentation [9.62543698736491]
  提案手法は,提案不要なインスタンスセグメンテーションモデルにおけるモデル独立不確実性推定値を得るための汎用的な手法である。 本手法は,BBBC010 C. elegansデータセットを用いて評価し,競合性能を示す。
  論文  参考訳（メタデータ） (2020-08-24T19:51:48Z)
• On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation [27.077741143188867]
  本稿では,分類課題を表現学習と不確実性推定の2段階に分けたアルゴリズム群を提案する。 選択的分類(リスクカバレッジ)および分布外サンプルの検出能力の観点から,それらの性能を評価する。
  論文  参考訳（メタデータ） (2020-01-22T15:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。