論文の概要: Decoupled Mode Connectivity for Base-to-Novel Generalization in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.09655v1
- Date: Fri, 06 Nov 2026 16:04:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-10 12:00:36.713097
- Title: Decoupled Mode Connectivity for Base-to-Novel Generalization in Vision-Language Models
- Title(参考訳): 視覚・言語モデルにおけるベース・ツー・ノーベル一般化のためのデカップリングモード接続性
- Abstract要約: 本稿では,それぞれの目的にそれぞれ独自のプロンプトを与えるDMC(Decoupled Mode Connectivity)を提案する。
DMCは特殊化プロンプトと一般化プロンプトを訓練し、テスト時にテキスト特徴と固定係数をマージする。
CoOpおよびKgCoOpのMerge-Tuneに対する平均高調波平均値と新しい精度を改良した。
- 参考スコア(独自算出の注目度): 27.82563623282324
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt learning adapts vision-language models such as CLIP by optimizing a short learnable prompt. The cross-entropy objective pulls this prompt toward base-class specialization, whereas generalization to unseen classes benefits from staying close to CLIP's zero-shot feature space. Because both objectives act on the same prompt, their gradients conflict at convergence, and in our experiments no single-prompt loss design clearly improves on the cosine baseline. We propose Decoupled Mode Connectivity (DMC), which gives each objective its own prompt. Starting from a base-trained prompt, DMC trains a specialization prompt and a generalization prompt, and merges their text features with a fixed coefficient at test time, at the inference cost of a single prompt. A linear mode connectivity (LMC) corridor in text-feature space keeps the classification loss low for every classifier interpolated between the two endpoints, and a Visual Anchor KL term preserves CLIP's zero-shot class-similarity distribution of each image during specialization. We further argue that such regularizers should satisfy class-permutation invariance (CPI), and show via Fano's inequality, in an idealized model, that violating CPI lower-bounds the drop in novel accuracy by a term proportional to the mutual information between the prompt and the base-class labels. Across 11 datasets, DMC improves the average harmonic mean of base and novel accuracy over MergeTune for both CoOp and KgCoOp, and its interpolation curves pass beyond the single-prompt operating point, shifting the base-novel frontier rather than trading along it. Code is available at https://github.com/IemProg/DMC.
- Abstract(参考訳): プロンプト学習は、短い学習可能なプロンプトを最適化することで、CLIPのような視覚言語モデルに適応する。
クロスエントロピーの目的は、ベースクラスの特殊化に向けてこのプロンプトを引き出す一方で、見えないクラスへの一般化は、CLIPのゼロショット機能空間に近づいたことの恩恵を受ける。
両目的が同一のプロンプトで作用するため, 収束時の勾配差は相反し, 実験ではコサインベースライン上での単一プロンプト損失設計は明らかに改善されない。
本稿では,それぞれの目的にそれぞれ独自のプロンプトを与えるDMC(Decoupled Mode Connectivity)を提案する。
ベーストレーニングされたプロンプトから、DMCは特殊化プロンプトと一般化プロンプトを訓練し、単一のプロンプトの推論コストで、テスト時にテキスト特徴を固定係数でマージする。
テキスト機能空間におけるリニアモード接続(LMC)廊下は、2つのエンドポイント間で補間された各分類器の分類損失を低く保ち、Visual Anchor KL項は、特殊化中の各画像のゼロショットのクラス類似度分布を保存する。
さらに、このような正規化器はクラス置換不変性(CPI)を満たすべきであり、Fanoの不等式を介して、理想化されたモデルにおいて、CPIの違反は、プロンプトとベースクラスのラベル間の相互情報に比例した用語によって、新しい精度の低下を低くすることを示す。
11データセットにわたって、DMCは、CoOpとKgCoOpのMergeTuneに対するベースと新しい精度の平均を平均的に改善し、その補間曲線は単一プロンプトの動作点を越えて、ベースノーベルフロンティアをトレーディングするのではなく、ベースノーベルフロンティアにシフトする。
コードはhttps://github.com/IemProg/DMC.comで入手できる。
関連論文リスト
- Bridging CLIP with DINO: Cross-Modal Information Maximization for Online Test-Time Adaptation [13.32138925517902]
CLIPのようなビジョン教師付きモデルは、任意のクラス名からゼロショット分類を可能にする。
テスト時の腐敗の下で、彼らのビジュアルエンコーダプロジェクトは、不正確なテキストアンカーに、高い信頼性で機能を歪ませた。
本稿では,このループを3段階に分割するオンラインテスト時間適応(TTA)手法を提案する。
論文 参考訳(メタデータ) (2026-11-03T08:19:29Z) - RIPPLE in Still Water: Zero-Shot Clustering in Federated Learning with Wavelet Scattering Transform [51.56484100374058]
クラスタ化されたフェデレートラーニング(FL)は、クライアントを同じローカル分布のグループに分割し、クラスタ毎に1つの特別なモデルを訓練する。
本稿では、各クライアントのローカルデータのスペクトル特性からクラスタ割り当てを完全にオフラインで計算するクラスタリングFLフレームワークであるRIPPLEを提案する。
論文 参考訳(メタデータ) (2026-10-02T09:35:39Z) - ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models [3.664316529642632]
ProCAPは、クロスモーダルなインタラクションとトレーニングの安定性を改善する、クロスアテンティブなプロンプトラーニングフレームワークである。
視覚的およびテキスト的プロンプトトークンの両方を学び、積み重ねられた双方向のマルチヘッド・クロスアテンションを通じてリンクする。
CLIPのバックボーンを変更せずに、強力なアグリゲートベース・ツー・ノーベルパフォーマンスと競合転送パフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-09-24T18:31:57Z) - Preserving Cross-Modal Consistency for CLIP-based Class-Incremental Learning [77.82901519692378]
クラスインクリメンタルラーニング(CIL)は、モデルが獲得した知識を忘れることなく、シーケンシャルなタスクから新しいカテゴリを継続的に学習することを可能にする。
視覚エンコーダの適応とテキストソフトプロンプトの最適化を分離するCLIPベースのCILのための2段階フレームワークであるDMCを提案する。
CIFAR-100, Imagenet-R, CUB-200, UCF-101 の大規模な実験により, DMC と DMC-OT の両者が最先端の性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-11-14T05:36:36Z) - Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳(メタデータ) (2024-03-01T15:14:47Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Prediction Calibration for Generalized Few-shot Semantic Segmentation [101.69940565204816]
汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。
我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。
私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2022-10-15T13:30:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。