論文の概要: MiMIC: Mitigating Visual Modality Collapse in Universal Multimodal Retrieval While Avoiding Semantic Misalignment

• arxiv url: http://arxiv.org/abs/2604.21326v1
• Date: Thu, 23 Apr 2026 06:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.334847
• Title: MiMIC: Mitigating Visual Modality Collapse in Universal Multimodal Retrieval While Avoiding Semantic Misalignment
• Title（参考訳）: MiMIC: セマンティックなミスアライメントを回避しつつ, ユニバーサルマルチモーダル検索における視覚的モダリティの崩壊を緩和する
• Authors: Juan Li, Chuanghao Ding, Xujie Zhang, Cam-Tu Nguyen,
• Abstract要約: Universal Multimodal Retrieval (UMR) は、様々なモダリティ(視覚やテキストなど)を共有埋め込み空間にマッピングして検索することを目的としている。 既存のUMR法は、マーベルのようなアーリーフュージョンアプローチとUniVL-DRのようなレイトフュージョンアプローチの2つのカテゴリに分けられる。 我々は,(1)効果的なマルチモーダル統合のためのフュージョン・イン・デコーダアーキテクチャ,(2)単一モダリティ・ミックスインとランダムキャプション・ドロップアウトによる堅牢なトレーニング,という2つの重要なイノベーションを紹介する。
• 参考スコア（独自算出の注目度）: 11.058901579901699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal Multimodal Retrieval (UMR) aims to map different modalities (e.g., visual and textual) into a shared embedding space for multi-modal retrieval. Existing UMR methods can be broadly divided into two categories: early-fusion approaches, such as Marvel, which projects visual features into the language model (LM) space for integrating with text modality, and late-fusion approaches, such as UniVL-DR, which encode visual and textual inputs using separate encoders and obtain fused embeddings through addition. Our pilot study reveals that Marvel exhibits visual modality collapse, which is characterized by the model's tendency to disregard visual features while depending excessively on textual cues. In contrast, although UniVL-DR is less affected by this issue, it is more susceptible to semantic misalignment, where semantically related content is positioned far apart in the embedding space. To address these challenges, we propose MiMIC, which introduces two key innovations: (1) a fusion-in-decoder architecture for effective multimodal integration, and (2) robust training through single modality mixin and random caption dropout. Experiments on the WebQA+ and EVQA+ datasets, where image in documents or queries might lack captions, indicate that MiMIC consistently outperforms both early- and late-fusion baselines.
• Abstract（参考訳）: Universal Multimodal Retrieval (UMR) は、様々なモダリティ(例えば、視覚的、テキスト的)をマルチモーダル検索のための共有埋め込み空間にマッピングすることを目的としている。 既存のUMR手法は、テキストモダリティと統合するための言語モデル(LM)空間に視覚的特徴を投影するMarvelのようなアーリーフュージョンアプローチと、別々のエンコーダを使用して視覚的およびテキスト入力をエンコードし、追加で融合埋め込みを得るUniVL-DRのようなレイトフュージョンアプローチの2つのカテゴリに分けられる。 私たちのパイロット研究は、マーベルが視覚的モダリティの崩壊を示すことを示しているが、これは、テキストの手がかりに過度に依存しながら、視覚的特徴を無視する傾向が特徴である。 対照的に、UniVL-DRはこの問題の影響を受けていないが、セマンティックな関連コンテンツが埋め込み空間内ではるかに離れているような意味的ミスアライメントの影響を受けやすい。 これらの課題に対処するために,1) 効果的なマルチモーダル統合のためのフュージョン・イン・デコーダ・アーキテクチャ,2) 単一モダリティ・ミックスインとランダムキャプション・ドロップアウトによる堅牢なトレーニング,という2つの重要なイノベーションを導入するMICを提案する。 WebQA+とEVQA+データセットの実験では、ドキュメントやクエリのイメージにキャプションが欠如している可能性がある。

関連論文リスト

• SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment [8.657941729790599]
  本稿では,パッチの冗長性と曖昧性に体系的に対処するセマンティック・エンハンスト・パッチ・スライミング(SEPS)フレームワークを紹介する。 提案手法では,密文と疎文の両方から統合されたセマンティクスを統合するための2段階の機構を用いて,視覚的パッチを識別する。 Flickr30KとMS-COCOデータセットの実験は、SEPSが優れたパフォーマンスを達成することを検証する。
  論文  参考訳（メタデータ） (2025-11-03T09:41:32Z)
• Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents [99.62178668680578]
  本稿では,単一の視覚変換器を用いてテキスト,画像,それらの組み合わせをモデル化する統合フレームワークであるビジョン中心コントラスト学習(VC2L)を提案する。 VC2Lは完全にピクセル空間で動作し、テキスト、ビジュアル、または組み合わせのいずれでも、すべての入力を画像として描画する。 ウェブ文書における複雑なクロスモーダル関係を捉えるため、VC2Lは連続するマルチモーダルセグメントを整列するスニペットレベルのコントラスト学習目標を採用している。
  論文  参考訳（メタデータ） (2025-10-21T14:59:29Z)
• Prototype-Aware Multimodal Alignment for Open-Vocabulary Visual Grounding [11.244257545057508]
  Prototype-Aware Multimodal Learning (PAML) は、視覚的・言語的モダリティの不完全整合、クロスモーダルな特徴融合の欠如、意味的プロトタイプ情報の有効利用に対処する革新的なフレームワークである。 我々のフレームワークは,オープン語彙シーンにおける最先端の成果を達成しつつ,標準的な場面での競争性能を示す。
  論文  参考訳（メタデータ） (2025-09-08T02:27:10Z)
• Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation [61.64052577026623]
  実世界のマルチビューデータセットは、しばしば不均一で不完全である。 本稿では,表現融合とアライメントを同時に行う新しいロバストMVL法(RML)を提案する。 我々のRMLは自己教師型であり、正規化として下流のタスクにも適用できます。
  論文  参考訳（メタデータ） (2025-03-06T07:01:08Z)
• Cross-domain Few-shot Object Detection with Multi-modal Textual Enrichment [21.36633828492347]
  クロスドメイン多モードFew-Shotオブジェクト検出(CDMM-FSOD) メタラーニングベースのフレームワークを導入し、リッチテキストセマンティクスを補助モダリティとして活用し、効果的なドメイン適応を実現する。 提案手法を共通のクロスドメインオブジェクト検出ベンチマークで評価し,既存の複数ショットオブジェクト検出手法を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-23T06:59:22Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。