論文の概要: Fill the Gap: Quantifying and Reducing the Modality Gap in Image-Text Representation Learning

• arxiv url: http://arxiv.org/abs/2505.03703v1
• Date: Tue, 06 May 2025 17:24:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.494439
• Title: Fill the Gap: Quantifying and Reducing the Modality Gap in Image-Text Representation Learning
• Title（参考訳）: 画像テキスト表現学習におけるモダリティギャップの定量化と削減
• Authors: François Role, Sébastien Meyer, Victor Amblard,
• Abstract要約: 視覚言語モデル(VLM)は、テキストや画像を共有表現空間に埋め込むことができる。 これらのモデルがモダリティギャップ現象(英語版)の対象であることは示されており、つまり、埋め込み空間において、あるモダリティと別のモダリティとの明確な分離が存在することを意味する。
• 参考スコア（独自算出の注目度）: 1.1087735229999818
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision-language models (VLMs) allow to embed texts and images in a shared representation space. However, it has been shown that these models are subject to a modality gap phenomenon meaning there exists a clear separation between the embeddings from one modality and another in the embedding space. While this misalignment is detrimental for downstream tasks such as multimodal retrieval, multimodal clustering or zero-shot classification, etc. no generic and practical methods have so far been proposed to assess it precisely and even reduce it. We therefore propose novel measures and effective techniques (spectral- and optimal transport-based methods) to achieve this goal. Extensive experiments conducted on several image-text datasets and models demonstrate their effectiveness and beneficial effects on downstream tasks. Our code is available at the URL provided in the paper's abstract.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、テキストや画像を共有表現空間に埋め込むことができる。 しかし、これらのモデルがモダリティギャップ現象の対象であることは示されており、つまり、埋め込み空間において、あるモダリティと別のモダリティとの明確な分離が存在することを意味する。 このミスアライメントは、マルチモーダル検索、マルチモーダルクラスタリング、ゼロショット分類などの下流タスクには有害であるが、それを評価するための汎用的で実用的な手法は提案されていない。 そこで我々は,この目標を達成するために,新しい計測手法と効果的な手法(スペクトルおよび最適輸送法)を提案する。 いくつかの画像テキストデータセットとモデルで実施された大規模な実験は、下流タスクの有効性と有益な効果を示している。 私たちのコードは、論文の要約にあるURLで利用可能です。

関連論文リスト

• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
  FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。 画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-09T02:16:37Z)
• Multimodal Unlearnable Examples: Protecting Data against Multimodal Contrastive Learning [53.766434746801366]
  マルチモーダル・コントラッシブ・ラーニング (MCL) は、インターネットから何百万ものイメージ・キャプション・ペアから学習することで、ゼロショット分類において顕著な進歩を見せている。 ハッカーは、個人やプライバシーに敏感な情報を含む、モデルトレーニングのために画像テキストデータを不正に活用する可能性がある。 近年の研究では、保護のためのショートカットを構築するための訓練画像に知覚不能な摂動を加えることで、学習不可能な例を生成することを提案する。 マルチステップ誤り最小化(MEM)を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:00:52Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• Layered Rendering Diffusion Model for Controllable Zero-Shot Image Synthesis [15.76266032768078]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 まず、摂動分布の基本的な空間的キューとして視覚誘導を導入する。 本稿では,複数のレイヤからなる画像レンダリングプロセスを構築する汎用フレームワークであるLayered Rendering Diffusion (LRDiff)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• From Text to Mask: Localizing Entities Using the Attention of Text-to-Image Diffusion Models [38.14123683674355]
  本稿では,テキスト・画像拡散モデルの認知ネットワークにおける注意機構を利用する手法を提案する。 そこで我々はPascal VOC 2012 と Microsoft COCO 2014 のセマンティックセグメンテーションを弱教師付きで評価した。 本研究は,セグメンテーションの拡散モデルに隠された豊富なマルチモーダル知識を抽出する方法を明らかにする。
  論文  参考訳（メタデータ） (2023-09-08T04:10:01Z)
• Grounded Text-to-Image Synthesis with Attention Refocusing [16.9170825951175]
  拡散モデルのクロスアテンション層と自己アテンション層の潜在的な原因を明らかにする。 そこで本研究では,サンプリング中の空間配置に応じて注目マップを再焦点化するための2つの新たな損失を提案する。 提案手法は,既存手法の制御性を効果的に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:59:59Z)
• Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization [7.4262579052708535]
  この効果はマルチモーダルVAEトレーニングにおける勾配の相反の結果である,と我々は主張する。 勾配が矛盾する計算グラフのサブグラフを検出する方法を示す。 実験により,本フレームワークは,モジュール間の遅延空間の再構成性能,条件生成,コヒーレンスを著しく向上させることを示した。
  論文  参考訳（メタデータ） (2022-06-09T13:29:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。