論文の概要: SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning
- arxiv url: http://arxiv.org/abs/2601.08617v1
- Date: Tue, 13 Jan 2026 15:00:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-14 18:27:19.243765
- Title: SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning
- Title(参考訳): SoC: テストタイムプロンプトチューニングのためのセマンティック直交校正
- Authors: Leo Fillioux, Omprakash Chakraborty, Ismail Ben Ayed, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Jose Dolz,
- Abstract要約: 医療や自動運転といった重要な意思決定システムにおける視覚言語モデル(VLM)の校正について検討する。
セマンティック直交正規化器(SoC)を提案する。
SoCはキャリブレーション性能を継続的に改善し、競争力のある差別能力も維持することを示した。
- 参考スコア(独自算出の注目度): 31.541509361349
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing adoption of vision-language models (VLMs) in critical decision-making systems such as healthcare or autonomous driving, the calibration of their uncertainty estimates becomes paramount. Yet, this dimension has been largely underexplored in the VLM test-time prompt-tuning (TPT) literature, which has predominantly focused on improving their discriminative performance. Recent state-of-the-art advocates for enforcing full orthogonality over pairs of text prompt embeddings to enhance separability, and therefore calibration. Nevertheless, as we theoretically show in this work, the inherent gradients from fully orthogonal constraints will strongly push semantically related classes away, ultimately making the model overconfident. Based on our findings, we propose Semantic Orthogonal Calibration (SoC), a Huber-based regularizer that enforces smooth prototype separation while preserving semantic proximity, thereby improving calibration compared to prior orthogonality-based approaches. Across a comprehensive empirical validation, we demonstrate that SoC consistently improves calibration performance, while also maintaining competitive discriminative capabilities.
- Abstract(参考訳): 医療や自動運転といった重要な意思決定システムにおいて、視覚言語モデル(VLM)の採用が増加するにつれ、不確実性推定の校正が最重要となる。
しかし、この次元は VLM test-time prompt-tuning (TPT) の文献でほとんど解明されていない。
最近の最先端の支持者は、テキストのペアに対して完全な直交性を強制して埋め込みを促進させ、分離性を高め、したがって校正する。
しかしながら、この研究で理論的に示されているように、完全に直交する制約からの固有の勾配は意味論的に関係のあるクラスを強く引き離し、最終的にはモデルが過信される。
そこで本研究では, セマンティック直交校正法(SoC)を提案する。セマンティック直交校正法(Semantic Orthogonal Calibration, Semantic Orthogonal Calibration, セマンティック直交校正法, セマンティック直交校正法, セマンティック直交校正法, セマンティック直交校正法, セマンティック直交校正法, セマンティック直交校正法, セマンティック直交校正法)を提案する。
総合的な実証的検証を通じて、SoCはキャリブレーション性能を一貫して改善し、競争力のある識別能力も維持することを示した。
関連論文リスト
- Uncertainty-Aware Post-Hoc Calibration: Mitigating Confidently Incorrect Predictions Beyond Calibration Metrics [6.9681910774977815]
本稿では、校正品質と不確実性を考慮した意思決定を向上させるためのポストホック校正フレームワークを提案する。
校正基準,不確実性認識性能測定,実証的コンフォメーションカバレッジを用いて総合評価を行った。
実験により,提案手法はイソトニックおよび焦点損失ベースラインと比較して,信頼性の低い予測精度と競合予測誤差を実現することが示された。
論文 参考訳(メタデータ) (2025-10-19T23:55:36Z) - Bayesian Test-time Adaptation for Object Recognition and Detection with Vision-language Models [86.53246292425699]
我々は、オブジェクト認識と検出の両方のためのTTAのためのトレーニングフリーフレームワークであるBCA+を提案する。
我々はベイズ推論問題として適応を定式化し、キャッシュベースの予測で初期VLM出力を融合することで最終的な予測を生成する。
BCA+は、認識と検出のベンチマークの両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-10-03T06:27:33Z) - Conformal Prediction for Zero-Shot Models [20.94974284175104]
分割共形予測パラダイムに基づくCLIPモデルの能力について検討する。
本稿では、キャリブレーションとクエリセットを併用してトランスダクティブを動作させるトランスダクティブ学習環境であるConf-OTを提案する。
論文 参考訳(メタデータ) (2025-05-30T15:16:19Z) - CLUE: Neural Networks Calibration via Learning Uncertainty-Error alignment [7.702016079410588]
CLUE(Calibration via Learning Uncertainty-Error Alignment)は,学習中の予測不確かさを観測誤差と整合させる新しい手法である。
CLUEは,最先端のアプローチに対して,キャリブレーション品質と競争予測性能に優れることを示す。
論文 参考訳(メタデータ) (2025-05-28T19:23:47Z) - O-TPT: Orthogonality Constraints for Calibrating Test-time Prompt Tuning in Vision-Language Models [17.56932003351322]
視覚言語モデル(VLM)のテスト時プロンプトチューニングは、微調整なしでラベルのないデータで学習できることから注目されている。
結果として得られたモデルはキャリブレーションの低さを示す傾向にあり、これらのモデルの信頼性と信頼性に疑問を呈する。
我々は、学習可能なプロンプトに対応するテキストの特徴に直交制約を導入する、O-TPTと呼ばれる新しいアプローチを提案する。
論文 参考訳(メタデータ) (2025-03-15T11:45:54Z) - Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors [22.39558434131574]
モデルキャリブレーションの代替視点として一貫性の概念を導入する。
本稿では,入力間の一貫性に基づいて信頼度を調整する,一貫性(CC)と呼ばれるポストホックキャリブレーション手法を提案する。
また,ロジットレベルでの摂動は計算効率を著しく向上させることを示した。
論文 参考訳(メタデータ) (2024-10-16T06:55:02Z) - Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。
その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。
種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2024-02-21T16:15:20Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳(メタデータ) (2022-12-22T22:05:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。