論文の概要: Towards Calibrated Robust Fine-Tuning of Vision-Language Models
- arxiv url: http://arxiv.org/abs/2311.01723v4
- Date: Mon, 12 Feb 2024 02:57:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 21:41:48.980546
- Title: Towards Calibrated Robust Fine-Tuning of Vision-Language Models
- Title(参考訳): 視覚言語モデルの校正ロバスト微調整に向けて
- Authors: Changdae Oh, Hyesu Lim, Mijoo Kim, Jaegul Choo, Alexander Hauptmann,
Zhi-Qi Cheng, Kyungwoo Song
- Abstract要約: 我々は、最先端の頑健な微調整が、事前訓練された視覚言語モデルの校正を損なうことを示す。
ドメイン間のIDキャリブレーションとロバスト予測をインセンティブとするキャリブレーション型ロバスト微調整法であるCaRotを提案する。
- 参考スコア(独自算出の注目度): 83.06807954664431
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robust fine-tuning aims to ensure performance on out-of-distribution (OOD)
samples, which is sometimes compromised by pursuing adaptation on
in-distribution (ID) samples. However, another criterion for reliable machine
learning -- confidence calibration has been overlooked despite its increasing
demand for real-world high-stakes applications, e.g., autonomous driving. We
raise concerns about the calibration of fine-tuned vision-language models
(VLMs) under distribution shift by showing that naive fine-tuning and even
state-of-the-art robust fine-tuning hurt the calibration of pre-trained VLMs,
especially on OOD datasets. We first show the OOD calibration error is bounded
from above with ID calibration errors and domain discrepancy between ID and
OOD. From this analysis, we propose CaRot, a calibrated robust fine-tuning
method that incentivizes ID calibration and robust prediction across domains to
reduce the upper bound of OOD calibration error. Extensive experiments on three
types of distribution shifts (natural, synthetic, and adversarial) on
ImageNet-1K classification demonstrate the effectiveness of CaRot across
diverse environments. We justify the empirical success of CaRot through our
theoretical analysis.
- Abstract(参考訳): Robust fine-tuning は、アウト・オブ・ディストリビューション(OOD)サンプルのパフォーマンスを保証することを目的としている。
しかし、信頼性の高い機械学習のもう1つの基準 -- 信頼性のキャリブレーションは、現実の高スループットアプリケーション、例えば自動運転への需要が高まっているにもかかわらず、見過ごされている。
分散シフト下での微調整された視覚言語モデル(vlms)のキャリブレーションについて,特にoodデータセットにおける事前訓練されたvlmのキャリブレーションを損なうことを示した。
まず,OODキャリブレーション誤差は,IDキャリブレーション誤差とIDとOODのドメイン差で上から有界であることを示す。
そこで本研究では,OODキャリブレーションエラーの上限値を削減するために,IDキャリブレーションとドメイン間のロバスト予測をインセンティブとするキャリブレーション型ロバスト微調整法CaRotを提案する。
ImageNet-1K分類における3種類の分布シフト(自然, 合成, 反対)に関する大規模な実験により, 多様な環境におけるCaRotの有効性が示された。
理論解析により,CaRotの実証的成功を正当化する。
関連論文リスト
- Consistency-Guided Temperature Scaling Using Style and Content
Information for Out-of-Domain Calibration [24.89907794192497]
領域外キャリブレーション性能を向上させるために,整合性誘導温度スケーリング(CTS)を提案する。
私たちは、複数のドメイン設定でデータサンプルを適切に表現できる重要なコンポーネントであるスタイルとコンテントという2つの異なる側面を考慮に入れています。
これは、精度を損なうことなくソースドメインのみを使用することで実現でき、我々のスキームは様々な信頼できるAIシステムに直接適用できる。
論文 参考訳(メタデータ) (2024-02-22T23:36:18Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - MaxEnt Loss: Constrained Maximum Entropy for Calibration under
Out-of-Distribution Shift [1.7089623113272014]
本稿では, 配電系統のキャリブレーション問題(OOD)に対処する新たな損失関数を提案する。
トレーニング中に観測される有意な統計的制約を取り入れ,精度を犠牲にすることなく,より優れたモデル校正を実現する。
論文 参考訳(メタデータ) (2023-10-26T05:10:57Z) - Calibrated ensembles can mitigate accuracy tradeoffs under distribution
shift [108.30303219703845]
ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。
我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
論文 参考訳(メタデータ) (2022-07-18T23:14:44Z) - Better Uncertainty Calibration via Proper Scores for Classification and
Beyond [15.981380319863527]
各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。
この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
論文 参考訳(メタデータ) (2022-03-15T12:46:08Z) - Meta-Calibration: Learning of Model Calibration Using Differentiable
Expected Calibration Error [46.12703434199988]
我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。
また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-17T15:47:50Z) - On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。
正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。
ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
論文 参考訳(メタデータ) (2021-06-17T11:04:14Z) - Learn what you can't learn: Regularized Ensembles for Transductive
Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。
本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。
本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文 参考訳(メタデータ) (2020-12-10T16:55:13Z) - Calibrating Deep Neural Network Classifiers on Out-of-Distribution
Datasets [20.456742449675904]
CCAC(Confidence with a Auxiliary Class)はディープニューラルネットワーク(DNN)のための新しいポストホック信頼度校正法である
CCACのキーノベルティは、誤分類されたサンプルと正しく分類されたサンプルを分離するキャリブレーションモデルにおける補助クラスである。
異なるDNNモデル,データセット,アプリケーションに対する実験により,CCACは従来よりずっと優れていることがわかった。
論文 参考訳(メタデータ) (2020-06-16T04:06:21Z) - Calibration of Pre-trained Transformers [55.57083429195445]
本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。
その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
論文 参考訳(メタデータ) (2020-03-17T18:58:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。