論文の概要: Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2502.07847v2
• Date: Tue, 08 Apr 2025 07:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:26:56.911440
• Title: Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける数ショット分類のための信頼度校正共変量シフト補正
• Authors: Behraj Khan, Rizwan Qureshi, Nouman Muhammad Durrani, Tahir Syed,
• Abstract要約: 我々は,共変量シフトを緩和するためのフィッシャー情報ペナルティと,誤分類例における過度な信頼を減らすための信頼ミスアライメントペナルティ(CMP)を組み合わせた統一的アプローチであるtextbfConfidence-Calibrated Covariate Shift Correction (CalShift)を導入する。 CalShiftはモデルのキャリブレーションを大幅に改善し、期待エラー(ECE)を最大5.82%削減する。 この結果から,CalShiftは実世界のアプリケーション向けに,堅牢で信頼性の高い低ショットビジョン言語システムを構築するための有望な戦略であることを強調した。
• 参考スコア（独自算出の注目度）: 2.6061534894032907
• License:
• Abstract: Since the establishment of vision-language foundation models as the new mainstay in low-shot vision classification tasks, the question of domain generalization arising from insufficient target data is assuming more importance. This scarcity challenge induces sampling bias and amplifies model sensitivity to variations and shifts in data distributions. While fine-tuning on multiple domains could mitigate such domain generalization issues, it is resource-intensive and demands diverse data sources. In this work, we systematically analyze two critical challenges: (1) covariate shift between the pre-training distribution and the underspecified target distribution, and (2) confidence misalignment, where predictions on novel data are overconfident. To address both challenges simultaneously, we introduce \textbf{Confidence-Calibrated Covariate Shift Correction (CalShift)} -- a unified approach that combines a Fisher information penalty to mitigate covariate shift and a Confidence Misalignment Penalty (CMP) to reduce overconfidence in misclassified examples. Experimental evaluations across various vision and covariate shift benchmarks demonstrate that CalShift significantly improves model calibration, achieving up to a 5.82\% reduction in Expected Calibration Error (ECE). Furthermore, CalShift enhances robustness, improving accuracy by 3.5\% on challenging datasets impacted by covariate shifts. Our results highlight CalShift as a promising strategy for building robust and reliable low-shot vision-language systems for real-world applications.
• Abstract（参考訳）: ローショット視覚分類タスクにおける新たなメインステイとしての視覚言語基礎モデルの確立以来,目標データ不足による領域一般化の課題がますます重要視されている。 この不足はサンプリングバイアスを誘発し、データ分散のバリエーションやシフトに対するモデルの感度を増幅する。 複数のドメインの微調整は、そのようなドメインの一般化問題を緩和するが、リソース集約であり、多様なデータソースを必要とする。 本研究では,(1)事前学習分布と未特定対象分布との共変と,(2)新規データの予測が過度に信頼される信頼の相違の2つの重要な課題を系統的に分析する。 両課題を同時に解決するために,共変量シフトを緩和するためにフィッシャー情報ペナルティと信頼ミスアライメントペナルティ(CMP)を併用した統一的なアプローチである 'textbf{Confidence-Calibrated Covariate Shift Correction (CalShift)} を導入する。 様々なビジョンと共変量シフトのベンチマークによる実験的評価は、CalShiftがモデル校正を著しく改善し、期待校正誤差(ECE)の最大5.82倍の削減を実現していることを示している。 さらに、CalShiftはロバスト性を強化し、共変量シフトによって影響を受ける挑戦的なデータセットの精度を3.5\%向上する。 この結果から,CalShiftは実世界のアプリケーション向けに,堅牢で信頼性の高い低ショットビジョン言語システムを構築する上で,有望な戦略であることを強調した。

関連論文リスト

• Technical report on label-informed logit redistribution for better domain generalization in low-shot classification with foundation models [0.0]
  信頼度校正は、基礎モデルに基づく現実世界の意思決定システムにおいて、新たな課題である。 本研究では,微調整の際,不正分類を罰する損失目標に組み込んだペナルティを提案する。 CMP(textitconfidence misalignment penalty)と呼ぶ。
  論文  参考訳（メタデータ） (2025-01-29T11:54:37Z)
• SGCCNet: Single-Stage 3D Object Detector With Saliency-Guided Data Augmentation and Confidence Correction Mechanism [7.631190617438259]
  単一段階点ベース3次元物体検出器は、低品質物体(ILQ)の不十分な学習や、局所化精度と分類信頼度(MLC)の不一致といった課題に直面している。 ILQでは、SGCCNetがSaliency-Guided Data Augmentation(SGDA)戦略を採用し、低品質オブジェクトに対するモデルの堅牢性を高める。 MLCでは、ポイントベースマルチクラス検出器に特化して信頼性補正機構(CCM)を設計する。
  論文  参考訳（メタデータ） (2024-07-01T12:36:01Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift [50.98086766507025]
  本稿では,AIA(Adversarial Invariant Augmentation)という,シンプルで効率の良いデータ拡張戦略を提案する。 AIAは、拡張プロセス中に元の安定した特徴を同時に保存しながら、新しい環境をエクスポーレーションし、生成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-05T07:55:55Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Closer Look at the Uncertainty Estimation in Semantic Segmentation under Distributional Shift [2.05617385614792]
  セマンティックセグメンテーションのタスクの不確かさをドメインシフトの異なるレベルで評価する。 単純な色変換は、既に強いベースラインを提供していることが示されている。 モデルのアンサンブルは、擬似ラベル生成を改善するために自己学習設定に利用された。
  論文  参考訳（メタデータ） (2021-05-31T19:50:43Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。