論文の概要: Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2203.02053v1
• Date: Thu, 3 Mar 2022 22:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 13:54:24.769095
• Title: Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning
• Title（参考訳）: Mind the Gap:マルチモーダルコントラスト表現学習におけるモダリティギャップの理解
• Authors: Weixin Liang, Yuhui Zhang, Yongchan Kwon, Serena Yeung, James Zou
• Abstract要約: CLIPのようなマルチモーダルモデルにおいて、データモダリティは、その共有表現に腕の長さに埋め込まれていることが示される。 対照的に、学習は、損失関数の温度パラメータの影響を受け、特定の距離で異なるモードを分離する。 実験により, モダリティギャップ距離の変化は, 下流のゼロショット分類性能と公平性を改善する上で大きな影響を与えることが示された。
• 参考スコア（独自算出の注目度）: 35.25854322376364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present modality gap, an intriguing geometric phenomenon of the representation space of multi-modal models. Specifically, we show that different data modalities (e.g. images and text) are embedded at arm's length in their shared representation in multi-modal models such as CLIP. Our systematic analysis demonstrates that this gap is caused by a combination of model initialization and contrastive learning optimization. In model initialization, we show empirically and theoretically that the representation of a common deep neural network is restricted to a narrow cone. As a consequence, in a multi-modal model with two encoders, the representations of the two modalities are clearly apart when the model is initialized. During optimization, contrastive learning keeps the different modalities separate by a certain distance, which is influenced by the temperature parameter in the loss function. Our experiments further demonstrate that varying the modality gap distance has a significant impact in improving the model's downstream zero-shot classification performance and fairness. Our code and data are available at https://modalitygap.readthedocs.io/
• Abstract（参考訳）: マルチモーダルモデルの表現空間の興味深い幾何学的現象であるモダリティギャップを提案する。 具体的には、CLIPのようなマルチモーダルモデルにおいて、異なるデータモダリティ(画像やテキストなど)が共有表現の腕の長さに埋め込まれていることを示す。 系統分析の結果,このギャップはモデル初期化とコントラスト学習最適化の組み合わせによって引き起こされることが示された。 モデル初期化では、共通のディープニューラルネットワークの表現が狭い円錐に制限されていることを経験的および理論的に示す。 その結果、2つのエンコーダを持つマルチモーダルモデルでは、モデルが初期化されるとき、2つのモダリティの表現は明らかに分離される。 最適化の間、コントラスト学習は、異なるモダリティを一定の距離で分離し、損失関数の温度パラメータに影響される。 実験により, モダリティギャップ距離の変化は, 下流のゼロショット分類性能と公平性の向上に大きく影響することが示された。 私たちのコードとデータはhttps://modalitygap.readthedocs.io/で利用可能です。

関連論文リスト

• Human-Object Interaction Detection Collaborated with Large Relation-driven Diffusion Models [65.82564074712836]
  テキストと画像の拡散モデルに光を流す新しいHOI検出器であるDIFfusionHOIを紹介する。 まず、埋め込み空間における人間と物体の関係パターンの表現をインバージョンベースで学習する戦略を考案する。 これらの学習された関係埋め込みはテキストのプロンプトとして機能し、スタイア拡散モデルが特定の相互作用を記述する画像を生成する。
  論文  参考訳（メタデータ） (2024-10-26T12:00:33Z)
• Semantic-Guided Multimodal Sentiment Decoding with Adversarial Temporal-Invariant Learning [22.54577327204281]
  マルチモーダル感情分析は、異なるモダリティから表現を学習し、人間の感情を識別することを目的としている。 既存の作品は、連続した時系列に固有のフレームレベルの冗長性を無視することが多く、ノイズを伴う不完全なモジュラリティ表現をもたらす。 本研究では,時間段階の分布変動を制約し,時間的時間的変動を効果的に捉えた時間的不変学習を提案する。
  論文  参考訳（メタデータ） (2024-08-30T03:28:40Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Discriminative Multimodal Learning via Conditional Priors in Generative Models [21.166519800652047]
  本研究は,モデルトレーニングにおいて,すべてのモダリティとクラスラベルが利用できる現実的なシナリオについて研究する。 このシナリオでは、変動的な下界境界は、結合表現と欠測モダリティの間の相互情報を制限する。
  論文  参考訳（メタデータ） (2021-10-09T17:22:24Z)
• MOCCA: Multi-Layer One-Class ClassificAtion for Anomaly Detection [16.914663209964697]
  我々は,Multi-Layer One-Class Classification (MOCCA) と呼ばれる異常検出問題に対するディープラーニングアプローチを提案する。 異なる深さで抽出された情報を利用して異常なデータインスタンスを検出することで、ディープニューラルネットワークのピースワイズ的性質を明示的に活用します。 本稿では,本手法が文献で利用可能な最先端手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2020-12-09T08:32:56Z)
• Does my multimodal model learn cross-modal interactions? It's harder to tell than you might think! [26.215781778606168]
  クロスモーダルモデリングは、視覚的質問応答のようなマルチモーダルタスクにおいて不可欠である。 本稿では,与えられたタスク上でのモデル間の相互作用によって性能が向上するか否かを分離する,新たな診断ツールである経験的多モード付加関数投影(EMAP)を提案する。 7つの画像+テキスト分類タスク(それぞれに新しい最先端のベンチマークを設定した)に対して、多くの場合、モーダル間相互作用を削除することは、パフォーマンスの劣化をほとんど、あるいは全く起こさない。
  論文  参考訳（メタデータ） (2020-10-13T17:45:28Z)
• Learning more expressive joint distributions in multimodal variational methods [0.17188280334580194]
  正規化フローを用いたマルチモーダル変分法の表現能力を向上させる手法を提案する。 このモデルは,様々なコンピュータビジョンタスクの変動推論に基づいて,最先端のマルチモーダル手法を改善することを実証する。 また, より強力な近似関節分布の学習により, 生成した試料の品質が向上することを示した。
  論文  参考訳（メタデータ） (2020-09-08T11:45:27Z)
• Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
  我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。 次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。 最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。 本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2020-08-25T06:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。