論文の概要: Towards Calibrated Robust Fine-Tuning of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2311.01723v6
• Date: Wed, 30 Oct 2024 22:16:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:59:00.722602
• Title: Towards Calibrated Robust Fine-Tuning of Vision-Language Models
• Title（参考訳）: 視覚言語モデルの校正ロバスト微調整に向けて
• Authors: Changdae Oh, Hyesu Lim, Mijoo Kim, Dongyoon Han, Sangdoo Yun, Jaegul Choo, Alexander Hauptmann, Zhi-Qi Cheng, Kyungwoo Song,
• Abstract要約: 本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
• 参考スコア（独自算出の注目度）: 97.19901765814431
• License:
• Abstract: Improving out-of-distribution (OOD) generalization during in-distribution (ID) adaptation is a primary goal of robust fine-tuning of zero-shot models beyond naive fine-tuning. However, despite decent OOD generalization performance from recent robust fine-tuning methods, confidence calibration for reliable model output has not been fully addressed. This work proposes a robust fine-tuning method that improves both OOD accuracy and confidence calibration simultaneously in vision language models. Firstly, we show that both OOD classification and OOD calibration errors have a shared upper bound consisting of two terms of ID data: 1) ID calibration error and 2) the smallest singular value of the ID input covariance matrix. Based on this insight, we design a novel framework that conducts fine-tuning with a constrained multimodal contrastive loss enforcing a larger smallest singular value, which is further guided by the self-distillation of a moving-averaged model to achieve calibrated prediction as well. Starting from empirical evidence supporting our theoretical statements, we provide extensive experimental results on ImageNet distribution shift benchmarks that demonstrate the effectiveness of our theorem and its practical implementation.
• Abstract（参考訳）: In-distriion (ID) 適応時のOOD一般化の改善は、素早い微調整以上のゼロショットモデルの堅牢な微調整の第一目標である。 しかし、最近の頑健な微調整手法によるOOD一般化性能は良好であるが、信頼性の高いモデル出力に対する信頼性校正は未解決である。 本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 まず、OOD分類とOOD校正誤差が2つのIDデータからなる共有上限を持つことを示す。 1)IDの校正ミス 2) ID入力共分散行列の最小特異値。 この知見に基づき、我々は、最小の特異値を持つ制約付きマルチモーダルコントラスト損失で微調整を行う新しいフレームワークを設計し、さらに移動平均モデルの自己蒸留により、キャリブレーションされた予測も達成する。 理論的ステートメントを裏付ける実証的な証拠から始めて、我々は、この定理の有効性とその実践的実装を実証する、ImageNet分散シフトベンチマークにおいて、広範な実験結果を提供する。

関連論文リスト

• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• MaxEnt Loss: Constrained Maximum Entropy for Calibration under Out-of-Distribution Shift [1.7089623113272014]
  本稿では, 配電系統のキャリブレーション問題(OOD)に対処する新たな損失関数を提案する。 トレーニング中に観測される有意な統計的制約を取り入れ,精度を犠牲にすることなく,より優れたモデル校正を実現する。
  論文  参考訳（メタデータ） (2023-10-26T05:10:57Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Annealing Double-Head: An Architecture for Online Calibration of Deep Neural Networks [1.1602089225841632]
  現代のディープニューラルネットワークは、予測信頼度が過大評価されているため、概してキャリブレーションが不十分である。 本稿では,DNN を訓練中に校正するための簡易かつ高効率なアーキテクチャである Annealing Double-Head を提案する。 提案手法は, 後処理を伴わずに, 最先端モデル校正性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2022-12-27T21:21:58Z)
• Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift [108.30303219703845]
  ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。 我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
  論文  参考訳（メタデータ） (2022-07-18T23:14:44Z)
• Uncertainty-sensitive Activity Recognition: a Reliability Benchmark and the CARING Models [37.60817779613977]
  本稿では,現代の行動認識アーキテクチャの信頼度が,正しい結果の確率を反映していることを示す最初の研究を行う。 新たなキャリブレーションネットワークを通じて、モデル出力を現実的な信頼性推定に変換する新しいアプローチを紹介します。
  論文  参考訳（メタデータ） (2021-01-02T15:41:21Z)
• Decomposed Adversarial Learned Inference [118.27187231452852]
  我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-21T20:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。