Fugu-MT 論文翻訳(概要): M-PFT: Angular Margin for Calibrated Prompt-Tuning of Fine-Tuned Vision-Language Models

論文の概要: M-PFT: Angular Margin for Calibrated Prompt-Tuning of Fine-Tuned Vision-Language Models

arxiv url: http://arxiv.org/abs/2610.39861v2
Date: Mon, 02 Nov 2026 13:14:24 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-03 19:53:01.772318
Title: M-PFT: Angular Margin for Calibrated Prompt-Tuning of Fine-Tuned Vision-Language Models
Title（参考訳）: M-PFT:角マージンを用いた微調整型ビジョンランゲージモデルのキャリブレーションプロンプトチューニング
Abstract要約: M-PFTは、クラス識別性とセマンティックアンカリングを促進するプロンプトチューニングのための新しい角マージンアプローチである。提案手法は,新しいクラスにおける平均校正誤差を低減し,ベースクラスにおける競争力を維持しつつ,同等の精度を維持する。
参考スコア（独自算出の注目度）: 17.528608950496526
License:
Abstract: Prompt-tuning has emerged as a parameter-efficient technique for adapting large-scale vision-language models (VLMs) to downstream tasks while keeping the pre-trained weights frozen. However, prompt-tuned VLMs often suffer from a base-to-novel dual miscalibration problem, where models typically show underconfidence on base classes and overconfidence on novel classes. Current VLM calibration approaches address this dual miscalibration either separately or jointly, but lack a geometric understanding of the hyperspherical embedding space and thus fail to exploit angular discriminative properties to adjust distorted decision boundaries. To address this, we propose M-PFT, a novel angular-margin approach for prompt tuning that introduces two complementary objectives to promote class discriminability and semantic anchoring. This enlarges the angular margin by 1) minimizing the maximum cosine similarity between tunable class embeddings to reduce embedding collapse and 2) minimizing the angular distance between each tunable embedding and its corresponding zero-shot embedding to preserve semantic geometry. Extensive experiments across 9 prompt-tuning methods with various backbones on 15 diverse datasets show that our approach reduces the average calibration error on novel classes, while remaining competitive on base classes and maintaining comparable accuracy. Further analyses reveal that M-PFT effectively adjusts distorted decision boundaries induced by prompt tuning while preserving the pre-trained embedding space, improving calibration with negligible computational overhead.
Abstract（参考訳）: プロンプトチューニングは、トレーニング済み重量を凍結させながら、下流タスクに大規模視覚言語モデル(VLM)を適用するためのパラメータ効率の手法として登場した。しかしながら、プロンプトチューニングされたVLMは、通常、モデルがベースクラスに不信感を示し、新しいクラスに過信を示す、ベースツーノーベルの二重校正問題に悩まされることが多い。現在のVLMキャリブレーション手法は、この2つの誤校正を別々にあるいは共同で解決するが、超球面埋め込み空間の幾何学的理解が欠如し、歪んだ決定境界を調整するために角の識別特性を利用することができない。そこで本研究では,クラス識別性とセマンティックアンカリングを促進させる2つの相補的目的を取り入れた,新しいアンギュラー・マージン手法であるM-PFTを提案する。これにより角マージンが大きくなる 1) 組込み型埋め込みの最大コサイン類似性を最小化し, 埋込み崩壊と埋込み崩壊を低減する。 2) 各調整可能な埋め込みとそれに対応するゼロショット埋め込みの間の角距離を最小化して意味的幾何を保存する。 15種類のデータセットに様々なバックボーンを付加した9種類のプロンプトチューニング手法による広範囲な実験により,本手法は,新しいクラスにおける平均校正誤差を低減し,ベースクラス上での競争力を維持しつつ,同等の精度を維持した。さらに、M-PFTは、事前学習した埋め込み空間を維持しながら、即時チューニングによって引き起こされる歪み決定境界を効果的に調整し、無視可能な計算オーバーヘッドによる校正を改善することを明らかにする。

関連論文リスト

Model Merging on Loss Landscape: A Geometry Perspective [2.2624434825206543]
エピマー(英: EpiMer)は、リーマン多様体上のフレシェ平均を解くためにモデルが合併するフレームワークである。我々の理論的解析は、マージ誤差を部分空間フレシェ分散と残留エネルギーに分解する。 8つのイメージ分類タスクで微調整されたCLIP-ViTモデルを組み合わせることで、Epistemic Mergingは、マッチしたランクで3つのCLIP-ViTバックボーンのベースラインを厳密に上回る。
論文参考訳（メタデータ） (2026-05-26T08:33:30Z)
Deriving Hyperparameter Scaling Laws via Modern Optimization Theory [55.63126290312615]
線形最小化Oracle(LMO)に基づく手法の最近の一階境界について検討する。近年の文献のバウンダリをプロキシとして扱い、異なるチューニング規則をまたいでそれらを最小化することで、学習率、運動量、バッチサイズに関するクローズドフォームのパワーロースケジュールが得られる。本研究の結果は, 運動量とバッチサイズスケーリングの相互作用に特に注意を払っており, いくつかのスケーリング戦略によって最適性能が達成される可能性が示唆された。
論文参考訳（メタデータ） (2026-03-16T22:21:27Z)
Towards Calibrating Prompt Tuning of Vision-Language Models [40.60254526955107]
本稿では,事前学習したCLIP埋め込み空間の幾何を保存しながら,予測信頼性を高めるキャリブレーションフレームワークを提案する。提案手法は, 基本クラスと新規クラスの競合校正手法と比較して, 期待誤差(ECE)を著しく低減する。
論文参考訳（メタデータ） (2026-02-22T03:26:23Z)
A-TPT: Angular Diversity Calibration Properties for Test-Time Prompt Tuning of Vision-Language Models [19.257897956175814]
テスト時プロンプトチューニング(TPT)は、ラベル付きデータに頼ることなく、大きな視覚言語モデル(VLM)を未確認タスクに適用するための有望な手法として登場した。 A-TPTは,正規化されたテキスト特徴の分布の均一性を促進するために,角の多様性を導入する新しいTPTフレームワークである。本手法は, 平均キャリブレーション誤差を低減するため, 最先端のTPT手法を一貫して超越していることを示す。
論文参考訳（メタデータ） (2025-10-30T12:45:24Z)
Boosting In-Context Learning in LLMs Through the Lens of Classical Supervised Learning [26.263282689008417]
In-Context Learning (ICL)では、LLM(Large Language Models)がいくつかの例で新しいタスクに適応できるが、その予測は体系的なバイアスに悩まされることが多い。ロジット空間において、これらの手法の多くは、方向を変更する能力を持たずに、単にLLMの決定境界をシフトすることと等価であることを示す。我々はこれらの制限に対処し、統一されたフレームワークを提供するためにSupervised (SC)を提案する。
論文参考訳（メタデータ） (2025-05-22T18:55:06Z)
Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
論文参考訳（メタデータ） (2025-03-28T07:23:07Z)
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
論文参考訳（メタデータ） (2024-02-16T16:35:18Z)
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
論文参考訳（メタデータ） (2023-07-05T13:52:10Z)
The Devil is in the Margin: Margin-based Label Smoothing for Network Calibration [21.63888208442176]
ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
論文参考訳（メタデータ） (2021-11-30T14:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。