Fugu-MT 論文翻訳(概要): Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP

論文の概要: Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP

arxiv url: http://arxiv.org/abs/2406.17639v2
Date: Wed, 26 Jun 2024 10:58:48 GMT
ステータス: 処理完了
システム内更新日: 2024-06-27 12:30:50.188343
Title: Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP
Title（参考訳）: ギャップを緩和する:CLIPにおけるクロスモーダルアライメント改善のための調査アプローチ
Authors: Sedigheh Eslami, Gerard de Melo,
Abstract要約: コントラスト言語-画像事前学習は、ゼロショット分類とクロスモーダル視覚言語タスクにおいて顕著に改善されている。幾何学的な観点から、CLIP埋め込み空間は明らかにモダリティギャップを持つ。本稿では,AlignCLIPが組込みのクロスモーダルアライメントにおいて顕著な拡張を実現していることを示す。
参考スコア（独自算出の注目度）: 22.076206386214565
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Contrastive Language--Image Pre-training (CLIP) has manifested remarkable improvements in zero-shot classification and cross-modal vision-language tasks. Yet, from a geometrical point of view, the CLIP embedding space has been found to have a pronounced modality gap. This gap renders the embedding space overly sparse and disconnected, with different modalities being densely distributed in distinct subregions of the hypersphere. In this work, we aim at answering two main questions: 1. Does sharing the parameter space between the multi-modal encoders reduce the modality gap? 2. Can the gap be mitigated by pushing apart the uni-modal embeddings via intra-modality separation? We design AlignCLIP, in order to answer these questions and show that answers to both questions are positive. Through extensive experiments, we show that AlignCLIP achieves noticeable enhancements in the cross-modal alignment of the embeddings, and thereby, reduces the modality gap, while maintaining the performance across several downstream evaluations, such as zero-shot image classification, zero-shot multi-modal retrieval and zero-shot semantic text similarity.
Abstract（参考訳）: コントラスト言語-画像事前学習(CLIP)は、ゼロショット分類とクロスモーダル視覚言語タスクにおいて顕著に改善されている。しかし、幾何学的な観点から、CLIP埋め込み空間は明らかなモジュラリティギャップを持つことが判明した。このギャップは埋め込み空間を過度にスパースし、非連結にし、異なるモジュラリティは超球面の異なる部分領域に密分布する。本研究では,主に2つの疑問に答えることを目的としている。 1.マルチモーダルエンコーダ間のパラメータ空間の共有はモダリティギャップを減少させるか? 2. モダリティ内分離によるユニモーダル埋め込みの分離によりギャップを緩和できるか? これらの疑問に答えるためにAlignCLIPを設計し、両方の質問に対する回答が肯定的であることを示す。広範にわたる実験により,AlignCLIPは組込みのクロスモーダルアライメントにおける顕著な拡張を実現し,モダリティギャップを低減するとともに,ゼロショット画像分類,ゼロショットマルチモーダル検索,ゼロショットセマンティックテキスト類似性などの下流評価における性能を維持した。

関連論文リスト

ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
CLIPの非最終層における自己注意の相互相関も局在特性を示す。本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
論文参考訳（メタデータ） (2024-11-24T14:14:14Z)
Towards Self-Supervised FG-SBIR with Unified Sample Feature Alignment and Multi-Scale Token Recycling [11.129453244307369]
FG-SBIRは、埋め込み空間におけるスケッチと対応する画像の距離を最小化することを目的としている。両領域間のギャップを狭める効果的なアプローチを提案する。主に、イントラサンプルとインターサンプルの両方を共有する統一的な相互情報共有を促進する。
論文参考訳（メタデータ） (2024-06-17T13:49:12Z)
It's Not a Modality Gap: Characterizing and Addressing the Contrastive Gap [4.437949196235149]
CLIPのような2エンコーダコントラストモデルでは、モダリティギャップが報告されている。これらの要因を全て考慮しても、対照的な損失は実際にトレーニング中にギャップを生じさせます。この対照的なギャップがCLIP空間の低均一性に起因する証拠を提示する。
論文参考訳（メタデータ） (2024-05-28T20:28:07Z)
Multi-Grained Cross-modal Alignment for Learning Open-vocabulary Semantic Segmentation from Text Supervision [23.931443799102663]
我々は,高密度アノテーションを使わずに粒度ギャップを埋めるために,MGCA(Multi-Grained Cross-Modal Alignment)フレームワークを導入する。具体的には、MGCAは画像とテキストのペアに基づいて擬似多言語意味対応を構築する。提案手法は最先端の手法よりも大幅に進歩し,その有効性と効率性を実証する。
論文参考訳（メタデータ） (2024-03-06T13:43:36Z)
Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文参考訳（メタデータ） (2023-03-10T14:38:49Z)
UniCLIP: Unified Framework for Contrastive Language-Image Pre-training [62.97551575508387]
コントラスト言語-画像事前学習のための統一フレームワークUniCLIPを提案する。 UniCLIPは、ドメイン間のペアとドメイン内のペアの対比的な損失を単一の普遍空間に統合する。 UniCLIPは、様々な単一モードおよび多モードダウンストリームタスクにおいて、以前の視覚言語事前学習方法より優れている。
論文参考訳（メタデータ） (2022-09-27T14:36:16Z)
Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文参考訳（メタデータ） (2021-12-12T06:11:16Z)
Progressively Guide to Attend: An Iterative Alignment Framework for Temporal Sentence Grounding [53.377028000325424]
時間的文接地作業のための反復アライメントネットワーク(IA-Net)を提案する。学習可能なパラメータを持つマルチモーダル特徴をパットすることで、非整合フレームワードペアの非整合問題を軽減する。また、アライメントの知識を洗練させるために、各アライメントモジュールに従ってキャリブレーションモジュールを考案する。
論文参考訳（メタデータ） (2021-09-14T02:08:23Z)
Margin Preserving Self-paced Contrastive Learning Towards Domain Adaptation for Medical Image Segmentation [51.93711960601973]
クロスモーダル医療画像セグメンテーションのための自己ペースコントラスト学習モデルを保存する新しいマージンを提案する。プログレッシブに洗練されたセマンティックプロトタイプの指導により、埋め込み表現空間の識別性を高めるために、コントラスト損失を減少させる新しいマージンが提案される。クロスモーダル心セグメンテーションタスクの実験は、MPSCLが意味セグメンテーション性能を大幅に改善することを示した。
論文参考訳（メタデータ） (2021-03-15T15:23:10Z)
Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。 IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。 IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
論文参考訳（メタデータ） (2021-03-02T08:20:08Z)
COBRA: Contrastive Bi-Modal Representation Algorithm [43.33840912256077]
本稿では,CPC(Contrastive Predictive Coding)とNCE(Noth Contrastive Estimation)のパラダイムにインスパイアされた,2つのモダリティの学習を目的とした新しいフレームワークを提案する。本研究では,この枠組みがモダリティギャップを大幅に減らし,ロバストでタスクに依存しない共同埋め込み空間を生成することを実証的に示す。 7つのベンチマークのクロスモーダルデータセットにまたがる4つのダウンストリームタスクにおいて、既存の作業よりも優れています。
論文参考訳（メタデータ） (2020-05-07T18:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。