論文の概要: O-TPT: Orthogonality Constraints for Calibrating Test-time Prompt Tuning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2503.12096v1
• Date: Sat, 15 Mar 2025 11:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:31:26.957182
• Title: O-TPT: Orthogonality Constraints for Calibrating Test-time Prompt Tuning in Vision-Language Models
• Title（参考訳）: O-TPT:視覚言語モデルにおけるテスト時間プロンプトチューニングの校正のための直交性制約
• Authors: Ashshak Sharifdeen, Muhammad Akhtar Munir, Sanoojan Baliah, Salman Khan, Muhammad Haris Khan,
• Abstract要約: 視覚言語モデル(VLM)のテスト時プロンプトチューニングは、微調整なしでラベルのないデータで学習できることから注目されている。 結果として得られたモデルはキャリブレーションの低さを示す傾向にあり、これらのモデルの信頼性と信頼性に疑問を呈する。 我々は、学習可能なプロンプトに対応するテキストの特徴に直交制約を導入する、O-TPTと呼ばれる新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 17.56932003351322
• License:
• Abstract: Test-time prompt tuning for vision-language models (VLMs) is getting attention because of their ability to learn with unlabeled data without fine-tuning. Although test-time prompt tuning methods for VLMs can boost accuracy, the resulting models tend to demonstrate poor calibration, which casts doubts on the reliability and trustworthiness of these models. Notably, more attention needs to be devoted to calibrating the test-time prompt tuning in vision-language models. To this end, we propose a new approach, called O-TPT that introduces orthogonality constraints on the textual features corresponding to the learnable prompts for calibrating test-time prompt tuning in VLMs. Towards introducing orthogonality constraints, we make the following contributions. First, we uncover new insights behind the suboptimal calibration performance of existing methods relying on textual feature dispersion. Second, we show that imposing a simple orthogonalization of textual features is a more effective approach towards obtaining textual dispersion. We conduct extensive experiments on various datasets with different backbones and baselines. The results indicate that our method consistently outperforms the prior state of the art in significantly reducing the overall average calibration error. Also, our method surpasses the zero-shot calibration performance on fine-grained classification tasks.
• Abstract（参考訳）: 視覚言語モデル(VLM)のテスト時プロンプトチューニングは、微調整なしでラベルのないデータで学習できることから注目されている。 VLMの試験時間プロンプトチューニング手法は精度を高めることができるが、結果として得られたモデルはキャリブレーションが劣る傾向にあり、これらのモデルの信頼性と信頼性に疑問を投げかける。 特に、視覚言語モデルにおけるテスト時間プロンプトチューニングの校正により多くの注意を払う必要がある。 そこで本研究では,VLMにおけるテスト時プロンプトチューニングの校正を行うための学習可能なプロンプトに対応するテキスト特徴に対する直交制約を導入する,O-TPTと呼ばれる新しい手法を提案する。 直交制約の導入に向けて、以下の貢献を行う。 まず,テキストの特徴分散に依存する既存手法の最適キャリブレーション性能に関する新たな知見を明らかにする。 第2に,テキスト特徴の単純な直交化を付与することは,テキスト分散を得るためのより効果的なアプローチであることを示す。 バックボーンとベースラインの異なる様々なデータセットに対して広範な実験を行う。 以上の結果から,本手法は平均校正誤差を著しく低減し,先行技術よりも一貫して優れていたことが示唆された。 また,細粒度分類タスクにおけるゼロショットキャリブレーション性能を超越した手法を提案する。

関連論文リスト

• Noise is an Efficient Learner for Zero-Shot Vision-Language Models [9.519280130389935]
  テスト時間ノイズチューニングは、視覚空間における予測不可能なシフトを処理する新しい方法である。 埋め込みにおいてコヒーレンスを明示的に強制することにより、ビュー間表現アライメントのための新しいアプローチを導入する。 これらの改善は、アダプティブ・アウト・オブ・ディストリビューション・ハンドリングの強力な基盤となった。
  論文  参考訳（メタデータ） (2025-02-09T20:25:42Z)
• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• BaFTA: Backprop-Free Test-Time Adaptation For Zero-Shot Vision-Language Models [20.88680592729709]
  本稿では,視覚言語モデルの試験時間適応のためのバックプロパゲーションフリーアルゴリズムBaFTAを提案する。 BaFTAは、投影された埋め込み空間内のオンラインクラスタリングを使用して、クラスセントロイドを直接推定する。 我々は,BaFTAが最先端の試験時間適応手法を効率と効率の両方で一貫して上回っていることを実証した。
  論文  参考訳（メタデータ） (2024-06-17T08:16:24Z)
• C-TPT: Calibrated Test-Time Prompt Tuning for Vision-Language Models via Text Feature Dispersion [54.81141583427542]
  深層学習において,ラベル付きデータを必要としない微調整手法としてテスト時間適応が注目されている。 本稿では,CLIPの固有特性を利用したテスト時プロンプトチューニング時の校正について検討する。 そこで本研究では,C-TPT(Calibrated Test-time Prompt Tuning)という,キャリブレーションの強化によるテスト時間中のプロンプトの最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-21T04:08:29Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Open-Vocabulary Calibration for Fine-tuned CLIP [44.82453633696438]
  微調整視覚言語モデル(VLM)の信頼性校正問題は、そのようなモデルを現実世界に展開する際の信頼性を大幅に低下させる可能性がある。 本稿では,素早い学習の文脈において,信頼度校正問題を体系的に検討することにより,ギャップを埋める。 本稿では,予測されたテキストラベルとベースクラス間の距離を誘導する手法として,温度のスケーリングに基づく,DAC(Distance-Aware)と呼ばれるシンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-07T08:42:48Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• CPT: Colorful Prompt Tuning for Pre-trained Vision-Language Models [101.5066760592534]
  我々は、視覚言語モデル(VL-PTM)をチューニングするための新しいパラダイムであるCPT(Cross-modal Prompt Tuning)を提案する。 CPTは、画像とテキストにおける色に基づく共参照マーカーを用いて、視覚的な接点をブランクの補間問題に修正し、ギャップを最大に軽減する。 総合的な実験結果から、VL-PTMの調整は、細調整されたVL-PTMよりも大きなマージンで優れていたことが示唆された。
  論文  参考訳（メタデータ） (2021-09-24T08:07:29Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。