論文の概要: BayesAdapter: enhanced uncertainty estimation in CLIP few-shot adaptation
- arxiv url: http://arxiv.org/abs/2412.09718v1
- Date: Thu, 12 Dec 2024 20:48:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:03:46.022660
- Title: BayesAdapter: enhanced uncertainty estimation in CLIP few-shot adaptation
- Title（参考訳）: BayesAdapter:CLIP小ショット適応における不確実性評価の強化
- Authors: Pablo Morales-Álvarez, Stergios Christodoulidis, Maria Vakalopoulou, Pablo Piantanida, Jose Dolz,
- Abstract要約: ベイズ推定を利用して1点ではなく全確率分布を推定するベイズアダプタを導入する。
本手法は, キャリブレーションと選択的分類において, 精度の高い不確実性推定値を得る。
- 参考スコア（独自算出の注目度）: 30.435971066422706
- License:
- Abstract: The emergence of large pre-trained vision-language models (VLMs) represents a paradigm shift in machine learning, with unprecedented results in a broad span of visual recognition tasks. CLIP, one of the most popular VLMs, has exhibited remarkable zero-shot and transfer learning capabilities in classification. To transfer CLIP to downstream tasks, adapters constitute a parameter-efficient approach that avoids backpropagation through the large model (unlike related prompt learning methods). However, CLIP adapters have been developed to target discriminative performance, and the quality of their uncertainty estimates has been overlooked. In this work we show that the discriminative performance of state-of-the-art CLIP adapters does not always correlate with their uncertainty estimation capabilities, which are essential for a safe deployment in real-world scenarios. We also demonstrate that one of such adapters is obtained through MAP inference from a more general probabilistic framework. Based on this observation we introduce BayesAdapter, which leverages Bayesian inference to estimate a full probability distribution instead of a single point, better capturing the variability inherent in the parameter space. In a comprehensive empirical evaluation we show that our approach obtains high quality uncertainty estimates in the predictions, standing out in calibration and selective classification. Our code is publicly available at: https://github.com/pablomorales92/BayesAdapter.
- Abstract（参考訳）: 大規模な事前学習型視覚言語モデル(VLM)の出現は、機械学習におけるパラダイムシフトであり、前例のない成果は、幅広い視覚認識タスクに及んでいる。
最も人気のあるVLMの1つであるCLIPは、分類において顕著なゼロショットとトランスファー学習能力を示した。
CLIPを下流タスクに転送するために、アダプタはパラメータ効率のよいアプローチを構成する。
しかし、CLIPアダプタは差別的性能を目標として開発されており、不確実性評価の品質は見過ごされている。
本研究では,最先端のCLIPアダプタの識別性能が,実際のシナリオにおける安全なデプロイに不可欠な不確実性推定能力と必ずしも相関しないことを示す。
また、これらのアダプタの1つは、より一般的な確率的フレームワークからMAP推論によって得られることを示す。
この観測に基づいてベイズアダプタを導入し、ベイズ推定を利用して1点ではなく全確率分布を推定し、パラメータ空間に固有の変数をよりよく捉える。
包括的実証評価では, キャリブレーションと選択的分類において, 精度の高い不確実性推定値が得られた。
私たちのコードは、https://github.com/pablomorales92/BayesAdapter.comで公開されています。
関連論文リスト
- Post-hoc Probabilistic Vision-Language Models [51.12284891724463]
視覚言語モデル(VLM)は、分類、検索、生成タスクにおいて顕著な成功を収めている。
追加トレーニングを必要としないVLMにおけるポストホック不確実性評価を提案する。
この結果から,大規模モデルの安全性クリティカルな応用が期待できることがわかった。
論文 参考訳（メタデータ） (2024-12-08T18:16:13Z) - Robust Calibration of Large Vision-Language Adapters [17.583536041845402]
本稿では,CLIPに基づくモデル適応における誤校正の重大な問題に対処する。
実験により,0ショットベースラインのキャリブレーション能力を大幅に低下させる,Adapters,Prompt Learning,Test-Time Adaptationなどの一般的なCLIP適応アプローチを実証した。
これらの観測により、各試料の対数範囲をゼロショット予測ロジットに拡大することにより、誤校正を緩和するための単純でモデルに依存しない解が提示される。
論文 参考訳（メタデータ） (2024-07-18T15:27:56Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Group-Conditional Conformal Prediction via Quantile Regression
Calibration for Crop and Weed Classification [0.0]
本稿では,ブラックボックス予測装置の予測性能について,統計的に妥当な保証を提供する共形予測フレームワークを提案する。
このフレームワークは、実践的な側面と、Adaptive Prediction Sets (APS) アプローチに沿った特別な注意を払って公開されている。
この欠点に対処するため、群-条件共形アプローチが提示される。
論文 参考訳（メタデータ） (2023-08-29T08:02:41Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Augmentation by Counterfactual Explanation -- Fixing an Overconfident
Classifier [11.233334009240947]
極めて正確だが過信的なモデルは、ヘルスケアや自動運転といった重要なアプリケーションへのデプロイには不適である。
本稿では,過度に信頼された分類器の修正に反事実的説明を適用することを提案する。
論文 参考訳（メタデータ） (2022-10-21T18:53:16Z) - Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳（メタデータ） (2022-08-25T13:31:09Z) - On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。
DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
論文 参考訳（メタデータ） (2021-07-01T17:59:07Z) - Trusted Multi-View Classification [76.73585034192894]
本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。
さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
論文 参考訳（メタデータ） (2021-02-03T13:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。