論文の概要: Understanding and Mitigating Miscalibration in Prompt Tuning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2410.02681v1
• Date: Thu, 3 Oct 2024 17:06:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:32:59.551550
• Title: Understanding and Mitigating Miscalibration in Prompt Tuning for Vision-Language Models
• Title（参考訳）: ビジョンランゲージモデルのためのプロンプトチューニングにおけるミススキャリブレーションの理解と緩和
• Authors: Shuoyuan Wang, Yixuan Li, Hongxin Wei,
• Abstract要約: 信頼性のキャリブレーションは、現実世界における機械学習モデルの安全なデプロイに不可欠である。 既存のプロンプトチューニング手法は、通常、ベースクラスと新しいクラスのキャリブレーションのトレードオフにつながる。 微調整後, 基本クラスと新クラスの信頼性校正を確保するために, ダイナミック・アウトレイラ正規化を導入する。
• 参考スコア（独自算出の注目度）: 22.501089777956654
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Confidence calibration is critical for the safe deployment of machine learning models in the real world. However, such issue in vision-language models like CLIP, particularly after fine-tuning, has not been fully addressed. In this work, we demonstrate that existing prompt tuning methods usually lead to a trade-off of calibration between base and new classes: the cross-entropy loss in CoOp causes overconfidence in new classes by increasing textual label divergence, whereas the regularization of KgCoOp maintains the confidence level but results in underconfidence in base classes due to the improved accuracy. Inspired by the observations, we introduce Dynamic Outlier Regularization (DOR) to ensure the confidence calibration on both base and new classes after fine-tuning. In particular, we propose to minimize the feature deviation of novel textual labels (instead of base classes) sampled from a large vocabulary. In effect, DOR prevents the increase in textual divergence for new labels while easing restrictions on base classes. Extensive experiments demonstrate that DOR can enhance the calibration performance of current fine-tuning methods on base and new classes.
• Abstract（参考訳）: 信頼性のキャリブレーションは、現実世界における機械学習モデルの安全なデプロイに不可欠である。 しかし、特に微調整後のCLIPのようなビジョン言語モデルのこのような問題は、完全には解決されていない。 本研究は,既存のプロンプトチューニング手法が基本クラスと新クラスの校正のトレードオフにつながることを実証する。CoOpのクロスエントロピー損失は,テキストラベルのばらつきを増大させることにより,新しいクラスの過信を引き起こすが,KgCoOpの正規化は信頼性を維持できるが,精度の向上によりベースクラスの過信をもたらす。 観察結果から着想を得たDOR(Dynamic Outlier Regularization)を導入し,微調整後の新クラスの信頼性校正を確実にする。 特に,大規模な語彙から抽出した新しいテキストラベル(基本クラスではなく)の特徴差を最小限に抑えることを提案する。 事実上、DORは、ベースクラスの制限を緩和しながら、新しいラベルに対するテキストのばらつきの増加を防ぐ。 大規模な実験により、DORはベースクラスと新しいクラスにおける現在の微調整法の校正性能を向上させることができることが示された。

関連論文リスト

• Dynamic Correlation Learning and Regularization for Multi-Label Confidence Calibration [60.95748658638956]
  本稿では,多ラベルシナリオにおける信頼度を適切に評価することを目的としたマルチラベル信頼性タスクを提案する。 既存のシングルラベルキャリブレーション手法では、セマンティックな混乱に対処するために欠かせないカテゴリ相関を考慮できない。 本稿では,多粒度セマンティック相関を利用した動的相関学習と正規化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-09T13:26:21Z)
• CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
  トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。 ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
  論文  参考訳（メタデータ） (2024-07-02T15:05:19Z)
• Tendency-driven Mutual Exclusivity for Weakly Supervised Incremental Semantic Segmentation [56.1776710527814]
  Weakly Incremental Learning for Semantic (WILSS)は、トレーニング済みのセグメンテーションモデルを利用して、コスト効率と手軽に利用できるイメージレベルのラベルを使用して、新しいクラスをセグメンテーションする。 WILSSを解く最も一般的な方法は、各新しいクラスのシード領域の生成であり、ピクセルレベルの監視の一形態として機能する。 本研究は, 種子領域の挙動を綿密に調整した, 相互排他性に関する革新的, 傾向的関係について提案する。
  論文  参考訳（メタデータ） (2024-04-18T08:23:24Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• A Study on the Calibration of In-context Learning [27.533223818505682]
  In-context Learning (ICL) は静的言語モデルに適切なプロンプトで適応するための一般的な手法である。 また,ICL例の増加に伴い,モデルの誤校正が向上し,キャリブレーションの精度が向上することが確認された。 再校正手法について検討し,スケーリング結合キャリブレータが一貫した校正誤差を低減できることを見出した。
  論文  参考訳（メタデータ） (2023-12-07T03:37:39Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• On the Calibration of Uncertainty Estimation in LiDAR-based Semantic Segmentation [7.100396757261104]
  本稿では,個々のクラスに対するセグメンテーションモデルの信頼性校正品質を測定する指標を提案する。 また,手書きまたは自動注釈付きデータセットの品質向上のためにラベル問題を自動的に検出する手法の二重利用を提案する。
  論文  参考訳（メタデータ） (2023-08-04T10:59:24Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。