論文の概要: Towards Calibrated Robust Fine-Tuning of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2311.01723v5
• Date: Mon, 27 May 2024 17:59:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 08:35:04.570924
• Title: Towards Calibrated Robust Fine-Tuning of Vision-Language Models
• Title（参考訳）: 視覚言語モデルの校正ロバスト微調整に向けて
• Authors: Changdae Oh, Hyesu Lim, Mijoo Kim, Dongyoon Han, Sangdoo Yun, Jaegul Choo, Alexander Hauptmann, Zhi-Qi Cheng, Kyungwoo Song,
• Abstract要約: 視覚言語モデル(VLM)におけるOOD精度と校正誤差の両方を改善する頑健な微調整法を提案する。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
• 参考スコア（独自算出の注目度）: 97.19901765814431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving out-of-distribution (OOD) generalization through in-distribution (ID) adaptation is a primary goal of robust fine-tuning methods beyond the naive fine-tuning approach. However, despite decent OOD generalization performance from recent robust fine-tuning methods, OOD confidence calibration for reliable machine learning has not been fully addressed. This work proposes a robust fine-tuning method that improves both OOD accuracy and calibration error in Vision Language Models (VLMs). Firstly, we show that both types of errors have a shared upper bound consisting of two terms of ID data: 1) calibration error and 2) the smallest singular value of the input covariance matrix. Based on this insight, we design a novel framework that conducts fine-tuning with a constrained multimodal contrastive loss enforcing a larger smallest singular value, which is further aided by the self-distillation of a moving averaged model to achieve well-calibrated prediction. Starting from an empirical validation of our theoretical statements, we provide extensive experimental results on ImageNet distribution shift benchmarks that demonstrate the effectiveness of our method.
• Abstract（参考訳）: In-distriion (ID) 適応によるアウト・オブ・ディストリビューション(OOD)の一般化の改善は、素早い微調整アプローチを超えた堅牢な微調整手法の第一の目標である。 しかし、最近の堅牢な微調整手法によるOOD一般化性能は良好であるにもかかわらず、信頼性の高い機械学習のためのOOD信頼度校正は、完全には解決されていない。 本研究は,視覚言語モデル(VLM)におけるOOD精度と校正誤差の両方を改善する頑健な微調整法を提案する。 まず、2つのIDデータからなる共有上限を持つエラーの種類を示す。 1)キャリブレーションエラー 2)入力共分散行列の最小特異値。 この知見に基づいて、我々は、より小さな特異値を持つ制約付きマルチモーダルコントラスト損失で微調整を行う新しいフレームワークを設計する。 理論的ステートメントの実証的検証から始め,ImageNet分散シフトベンチマークにおいて,提案手法の有効性を示す実験結果について述べる。

関連論文リスト

• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• MaxEnt Loss: Constrained Maximum Entropy for Calibration under Out-of-Distribution Shift [1.7089623113272014]
  本稿では, 配電系統のキャリブレーション問題(OOD)に対処する新たな損失関数を提案する。 トレーニング中に観測される有意な統計的制約を取り入れ,精度を犠牲にすることなく,より優れたモデル校正を実現する。
  論文  参考訳（メタデータ） (2023-10-26T05:10:57Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Annealing Double-Head: An Architecture for Online Calibration of Deep Neural Networks [1.1602089225841632]
  現代のディープニューラルネットワークは、予測信頼度が過大評価されているため、概してキャリブレーションが不十分である。 本稿では,DNN を訓練中に校正するための簡易かつ高効率なアーキテクチャである Annealing Double-Head を提案する。 提案手法は, 後処理を伴わずに, 最先端モデル校正性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2022-12-27T21:21:58Z)
• Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift [108.30303219703845]
  ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。 我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
  論文  参考訳（メタデータ） (2022-07-18T23:14:44Z)
• Uncertainty-sensitive Activity Recognition: a Reliability Benchmark and the CARING Models [37.60817779613977]
  本稿では,現代の行動認識アーキテクチャの信頼度が,正しい結果の確率を反映していることを示す最初の研究を行う。 新たなキャリブレーションネットワークを通じて、モデル出力を現実的な信頼性推定に変換する新しいアプローチを紹介します。
  論文  参考訳（メタデータ） (2021-01-02T15:41:21Z)
• Decomposed Adversarial Learned Inference [118.27187231452852]
  我々は,DALI(Decomposed Adversarial Learned Inference)という新しいアプローチを提案する。 DALIは、データ空間とコード空間の両方の事前および条件分布を明示的に一致させる。 MNIST, CIFAR-10, CelebAデータセットにおけるDALIの有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-21T20:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。