論文の概要: Towards Calibrated Robust Fine-Tuning of Vision-Language Models

• arxiv url: http://arxiv.org/abs/2311.01723v4
• Date: Mon, 12 Feb 2024 02:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 21:41:48.980546
• Title: Towards Calibrated Robust Fine-Tuning of Vision-Language Models
• Title（参考訳）: 視覚言語モデルの校正ロバスト微調整に向けて
• Authors: Changdae Oh, Hyesu Lim, Mijoo Kim, Jaegul Choo, Alexander Hauptmann, Zhi-Qi Cheng, Kyungwoo Song
• Abstract要約: 我々は、最先端の頑健な微調整が、事前訓練された視覚言語モデルの校正を損なうことを示す。 ドメイン間のIDキャリブレーションとロバスト予測をインセンティブとするキャリブレーション型ロバスト微調整法であるCaRotを提案する。
• 参考スコア（独自算出の注目度）: 83.06807954664431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust fine-tuning aims to ensure performance on out-of-distribution (OOD) samples, which is sometimes compromised by pursuing adaptation on in-distribution (ID) samples. However, another criterion for reliable machine learning -- confidence calibration has been overlooked despite its increasing demand for real-world high-stakes applications, e.g., autonomous driving. We raise concerns about the calibration of fine-tuned vision-language models (VLMs) under distribution shift by showing that naive fine-tuning and even state-of-the-art robust fine-tuning hurt the calibration of pre-trained VLMs, especially on OOD datasets. We first show the OOD calibration error is bounded from above with ID calibration errors and domain discrepancy between ID and OOD. From this analysis, we propose CaRot, a calibrated robust fine-tuning method that incentivizes ID calibration and robust prediction across domains to reduce the upper bound of OOD calibration error. Extensive experiments on three types of distribution shifts (natural, synthetic, and adversarial) on ImageNet-1K classification demonstrate the effectiveness of CaRot across diverse environments. We justify the empirical success of CaRot through our theoretical analysis.
• Abstract（参考訳）: Robust fine-tuning は、アウト・オブ・ディストリビューション(OOD)サンプルのパフォーマンスを保証することを目的としている。 しかし、信頼性の高い機械学習のもう1つの基準 -- 信頼性のキャリブレーションは、現実の高スループットアプリケーション、例えば自動運転への需要が高まっているにもかかわらず、見過ごされている。 分散シフト下での微調整された視覚言語モデル(vlms)のキャリブレーションについて,特にoodデータセットにおける事前訓練されたvlmのキャリブレーションを損なうことを示した。 まず,OODキャリブレーション誤差は,IDキャリブレーション誤差とIDとOODのドメイン差で上から有界であることを示す。 そこで本研究では,OODキャリブレーションエラーの上限値を削減するために,IDキャリブレーションとドメイン間のロバスト予測をインセンティブとするキャリブレーション型ロバスト微調整法CaRotを提案する。 ImageNet-1K分類における3種類の分布シフト(自然, 合成, 反対)に関する大規模な実験により, 多様な環境におけるCaRotの有効性が示された。 理論解析により,CaRotの実証的成功を正当化する。

関連論文リスト

• Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
  微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。 トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T13:13:39Z)
• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Annealing Double-Head: An Architecture for Online Calibration of Deep Neural Networks [1.1602089225841632]
  現代のディープニューラルネットワークは、予測信頼度が過大評価されているため、概してキャリブレーションが不十分である。 本稿では,DNN を訓練中に校正するための簡易かつ高効率なアーキテクチャである Annealing Double-Head を提案する。 提案手法は, 後処理を伴わずに, 最先端モデル校正性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2022-12-27T21:21:58Z)
• Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift [108.30303219703845]
  ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。 我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
  論文  参考訳（メタデータ） (2022-07-18T23:14:44Z)
• Uncertainty-sensitive Activity Recognition: a Reliability Benchmark and the CARING Models [37.60817779613977]
  本稿では,現代の行動認識アーキテクチャの信頼度が,正しい結果の確率を反映していることを示す最初の研究を行う。 新たなキャリブレーションネットワークを通じて、モデル出力を現実的な信頼性推定に変換する新しいアプローチを紹介します。
  論文  参考訳（メタデータ） (2021-01-02T15:41:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。