論文の概要: Cross-Modal Mapping: Mitigating the Modality Gap for Few-Shot Image Classification
- arxiv url: http://arxiv.org/abs/2412.20110v3
- Date: Wed, 16 Apr 2025 15:07:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-17 14:36:37.215506
- Title: Cross-Modal Mapping: Mitigating the Modality Gap for Few-Shot Image Classification
- Title（参考訳）: クロスモーダルマッピング:Few-Shot画像分類におけるモダリティギャップの緩和
- Authors: Xi Yang, Pai Peng, Wulin Xie, Xiaohuan Lu, Jie Wen,
- Abstract要約: 画像分類のための新しいクロスモーダルマッピング(CMM)手法を提案する。
CMMは、画像特徴とテキスト特徴空間を線形変換により整列する。
11のベンチマークデータセットでは、Top-1の平均精度が1.06%向上している。
- 参考スコア（独自算出の注目度）: 13.238769012534922
- License:
- Abstract: Few-shot image classification remains a critical challenge in the field of computer vision, particularly in data-scarce environments. Existing methods typically rely on pre-trained visual-language models, such as CLIP. However, due to the modality gap, which is the inconsistent distribution of image and text features in the joint embedding space, directly using these features as class prototypes often leads to suboptimal performance. To address this issue, we propose a novel Cross-Modal Mapping (CMM) method. This method globally aligns image features with the text feature space through linear transformation and optimizes their local spatial relationships using triplet loss, thereby significantly enhancing cross-modal consistency. Experimental results show that compared to other methods, CMM simplifies the training process and demonstrates higher efficiency. Furthermore, CMM improves the average Top-1 accuracy by 1.06% on 11 benchmark datasets compared to methods that partially fine-tune the backbone, and it performs excellently on 4 distribution shift datasets. Notably, CMM effectively mitigates the modality gap in pre-trained models, enabling text features to serve as effective class prototypes for image features, thus providing an efficient and highly generalizable solution for few-shot learning.
- Abstract（参考訳）: コンピュータビジョンの分野で、特にデータスカース環境では、画像の分類は依然として重要な課題である。
既存のメソッドは通常、CLIPのようなトレーニング済みのビジュアル言語モデルに依存している。
しかし, 組込み空間における画像特徴とテキスト特徴の矛盾した分布であるモダリティギャップのため, これらの特徴をクラスプロトタイプとして直接利用することは, しばしば準最適性能をもたらす。
そこで本研究では,新しいCMM手法を提案する。
本手法は,画像特徴とテキスト特徴空間を線形変換によりグローバルに整列し,三重項損失を用いた局所空間関係を最適化することにより,相互整合性を大幅に向上する。
実験の結果,他の手法と比較して,CMMは訓練過程を単純化し,高い効率性を示すことがわかった。
さらに、CMMは、バックボーンを部分的に微調整する手法と比較して、11のベンチマークデータセットの平均Top-1精度を1.06%改善し、4つの分散シフトデータセットで優れたパフォーマンスを発揮する。
特に、CMMは、事前訓練されたモデルのモダリティギャップを効果的に軽減し、テキスト特徴が画像特徴の効果的なクラスプロトタイプとして機能し、少数ショット学習のための効率的で高一般化可能なソリューションを提供する。
関連論文リスト
- Grounding Descriptions in Images informs Zero-Shot Visual Recognition [47.66166611138081]
我々は,表現を細かなレベルと粗いレベルの両方で同時に調整することを目的とした,新しい事前学習戦略であるGRAINを提案する。
我々は,現在の最先端技術と比較して,モデルのゼロショット性能の向上を実証する。
論文 参考訳（メタデータ） (2024-12-05T18:52:00Z) - Improving Cross-modal Alignment with Synthetic Pairs for Text-only Image
Captioning [13.357749288588039]
以前の作業では、教師なし設定下でのテキスト情報のみに依存して、画像キャプションのためのCLIPのクロスモーダルアソシエーション機能を活用していた。
本稿では,合成画像とテキストのペアを組み込むことにより,これらの問題に対処する新しい手法を提案する。
テキストデータに対応する画像を得るために、事前訓練されたテキスト・ツー・イメージモデルが配置され、CLIP埋め込み空間の実際の画像に対して、生成された画像の擬似特徴を最適化する。
論文 参考訳（メタデータ） (2023-12-14T12:39:29Z) - Cross-Modal Concept Learning and Inference for Vision-Language Models [31.463771883036607]
既存の微調整法では、クラス固有のテキスト記述は画像全体と一致している。
我々は、クロスモデル概念学習と推論(CCLI)と呼ばれる新しい手法を開発した。
本手法は,意味テキストの集合を用いて画像から視覚的特徴の集合を自動的に学習する。
論文 参考訳（メタデータ） (2023-07-28T10:26:28Z) - Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image
Person Retrieval [29.884153827619915]
IRRA:クロスモーダルImplicit Relation Reasoning and Aligning frameworkを提案する。
ローカルなビジュアルテキストトークン間の関係を学習し、グローバルな画像テキストマッチングを強化する。
提案手法は,3つの公開データセットすべてに対して,最先端の新たな結果を実現する。
論文 参考訳（メタデータ） (2023-03-22T12:11:59Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-03-09T04:35:00Z) - Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。
本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
論文 参考訳（メタデータ） (2022-05-19T13:11:24Z) - FILIP: Fine-grained Interactive Language-Image Pre-Training [106.19474076935363]
微粒な対話型言語-画像事前学習は、モーダルな遅延相互作用機構を通じてより細粒度なアライメントを実現する。
我々は,FILIP300Mと呼ばれる大規模画像テキストペアデータセットを構築し,事前学習を行う。
実験により、FILIPは複数の下流視覚言語タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2021-11-09T17:15:38Z) - Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。
画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文 参考訳（メタデータ） (2021-09-22T18:34:14Z) - Cross-modal Image Retrieval with Deep Mutual Information Maximization [14.778158582349137]
本研究では,入力にソース画像を含むクロスモーダル画像検索と,その画像と所望の画像の修正を記述したテキストについて検討する。
本手法は, テキストモダリティと画像モダリティのモダリティギャップを狭め, 意味的には同一でない表現間の相互情報を最大化する。
論文 参考訳（メタデータ） (2021-03-10T13:08:09Z) - Learning to Compose Hypercolumns for Visual Correspondence [57.93635236871264]
本稿では,画像に条件付けされた関連レイヤを活用することで,動的に効率的な特徴を構成する視覚対応手法を提案する。
提案手法はダイナミックハイパーピクセルフロー(Dynamic Hyperpixel Flow)と呼ばれ,深層畳み込みニューラルネットワークから少数の関連層を選択することにより,高速にハイパーカラム機能を構成することを学習する。
論文 参考訳（メタデータ） (2020-07-21T04:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。