論文の概要: Towards Calibrated Robust Fine-Tuning of Vision-Language Models
- arxiv url: http://arxiv.org/abs/2311.01723v3
- Date: Thu, 30 Nov 2023 00:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 19:46:14.737970
- Title: Towards Calibrated Robust Fine-Tuning of Vision-Language Models
- Title(参考訳): 視覚言語モデルの校正ロバスト微調整に向けて
- Authors: Changdae Oh, Mijoo Kim, Hyesu Lim, Junhyeok Park, Euiseog Jeong,
Zhi-Qi Cheng, Kyungwoo Song
- Abstract要約: そこで本研究では, 学習前視覚言語モデル(VLM)のキャリブレーションに悪影響を及ぼす要因として, 素質な微調整法と最先端の頑健な微調整法を示す。
私たちは、キャリブレーションされたロバスト微調整(CaRot)と呼ばれる単純なアプローチを提供し、IDとOODデータセットのキャリブレーションとロバスト性にインセンティブを与える。
- 参考スコア(独自算出の注目度): 19.363162595528983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While fine-tuning unlocks the potential of a pre-trained model for a specific
task, it compromises the model's ability to generalize to out-of-distribution
(OOD) datasets. To mitigate this, robust fine-tuning aims to ensure performance
on OOD datasets as well as on an in-distribution (ID) dataset for which the
model is being tuned. However, another criterion for reliable machine learning
(ML), confidence calibration, has been overlooked despite its increasing demand
for real-world high-stakes ML applications (e.g., autonomous driving and
medical diagnosis). For the first time, we raise concerns about the calibration
of fine-tuned vision-language models (VLMs) under distribution shift by showing
that naive fine-tuning and even state-of-the-art robust fine-tuning methods
hurt the calibration of pre-trained VLMs, especially on OOD datasets. To
address this issue, we provide a simple approach, called calibrated robust
fine-tuning (CaRot), that incentivizes calibration and robustness on both ID
and OOD datasets. Empirical results on ImageNet-1K distribution shift
evaluation verify the effectiveness of our method.
- Abstract(参考訳): 微調整は、特定のタスクのために事前訓練されたモデルの可能性を解き放つが、モデルがオフ・オブ・ディストリビューション(OOD)データセットに一般化する能力を損なう。
これを軽減するため、堅牢な微調整は、OODデータセットと、モデルがチューニングされている分散内データセットのパフォーマンスを保証することを目的としている。
しかし、信頼性機械学習(ML)の別の基準である信頼性校正は、実世界のハイテイクMLアプリケーション(例えば、自律運転と診断)への需要が増加しているにもかかわらず見過ごされている。
本稿では,特にOODデータセットにおいて,視覚言語モデル(VLM)のキャリブレーションに対する懸念を初めて高めるとともに,直感的な微調整や,最先端の頑健な微調整手法さえも,事前訓練されたVLMのキャリブレーションを損なうことを示して,分布シフト下での細調整の懸念を提起する。
この問題に対処するために、キャリブレーションされたロバスト微調整(CaRot)と呼ばれるシンプルなアプローチを提供し、IDとODデータセットの両方にキャリブレーションとロバスト性を動機付ける。
ImageNet-1K分布シフト評価実験の結果,本手法の有効性が検証された。
関連論文リスト
- Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。
本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2024-04-19T17:25:43Z) - Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference [37.82259435084825]
適切に校正されたAIモデルは、その精度を分布内入力(ID)に正しく報告し、また、分布外入力(OOD)の検出を可能にする必要がある。
本稿では、キャリブレーション正則化を統合した変分推論(VI)に基づくベイズ学習の拡張を提案する。
論文 参考訳(メタデータ) (2024-04-17T13:08:26Z) - Consistency-Guided Temperature Scaling Using Style and Content
Information for Out-of-Domain Calibration [24.89907794192497]
領域外キャリブレーション性能を向上させるために,整合性誘導温度スケーリング(CTS)を提案する。
私たちは、複数のドメイン設定でデータサンプルを適切に表現できる重要なコンポーネントであるスタイルとコンテントという2つの異なる側面を考慮に入れています。
これは、精度を損なうことなくソースドメインのみを使用することで実現でき、我々のスキームは様々な信頼できるAIシステムに直接適用できる。
論文 参考訳(メタデータ) (2024-02-22T23:36:18Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - MaxEnt Loss: Constrained Maximum Entropy for Calibration under
Out-of-Distribution Shift [1.7089623113272014]
本稿では, 配電系統のキャリブレーション問題(OOD)に対処する新たな損失関数を提案する。
トレーニング中に観測される有意な統計的制約を取り入れ,精度を犠牲にすることなく,より優れたモデル校正を実現する。
論文 参考訳(メタデータ) (2023-10-26T05:10:57Z) - Calibrated ensembles can mitigate accuracy tradeoffs under distribution
shift [108.30303219703845]
ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。
我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
論文 参考訳(メタデータ) (2022-07-18T23:14:44Z) - Better Uncertainty Calibration via Proper Scores for Classification and
Beyond [15.981380319863527]
各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。
この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
論文 参考訳(メタデータ) (2022-03-15T12:46:08Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳(メタデータ) (2021-06-17T11:04:14Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z) - Calibration of Pre-trained Transformers [55.57083429195445]
本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。
その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
論文 参考訳(メタデータ) (2020-03-17T18:58:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。