論文の概要: Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval

• arxiv url: http://arxiv.org/abs/2604.25273v1
• Date: Tue, 28 Apr 2026 06:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.73629
• Title: Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval
• Title（参考訳）: クロスモーダル検索のための大規模マルチモーダルモデルにおけるビジュアルネグレクトとセマンティックドリフトの圧縮
• Authors: Guosheng Zhang, Linkai Liu, Keyao Wang, Haixiao Yue, Zhiwen Tan, Xiao Tan,
• Abstract要約: Salient Subject-Aware Multimodal Embedding (SSA-ME)は、SSA-ME(Salient Subject-Aware Multimodal Embedding)と呼ばれる新しいフレームワークである。 提案手法はMMEBベンチマーク上での最先端性能を実現し,主観レベルのモデリングを取り入れることで,マルチモーダル検索を大幅に改善することを示した。
• 参考スコア（独自算出の注目度）: 10.40757294607926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant progress in Unified Multimodal Retrieval (UMR) powered by Large Multimodal Models (LMMs), existing embedding methods primarily focus on sample-level objectives via contrastive learning while overlooking the crucial subject-level semantics. This limitation hinders the model's ability to group semantically coherent subjects in complex multimodal queries, manifesting as semantic alignment deviation--where models fail to accurately localize salient text-referred regions in visual content. Moreover, without explicit guidance to model salient visual subjects, LMMs tend to over-rely on textual cues, resulting in visual modality neglect and suboptimal utilization of visual knowledge. To this end, we propose Salient Subject-Aware Multimodal Embedding (SSA-ME), a novel framework designed to enhance fine-grained representation learning through saliency-aware modeling. SSA-ME leverages LMMs and visual experts to identify and emphasize salient visual concepts in image-text pairs, and introduces a saliency-guided objective to better align cross-modal attention with semantically meaningful regions. Additionally, a feature regeneration module recalibrates visual features based on the derived saliency maps, ensuring a balanced and semantically coherent integration across modalities. Extensive experiments show that our method achieves state-of-the-art performance on the MMEB benchmark, demonstrating that incorporating subject-level modeling substantially improves multimodal retrieval. Comprehensive qualitative analyses further illustrate the interpretability and effectiveness of our approach.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)を用いたUMR(Unified Multimodal Retrieval)の大幅な進歩にもかかわらず、既存の埋め込み手法は主に、重要な主題レベルのセマンティクスを見越しながら、対照的な学習を通してサンプルレベルの目的に焦点を当てている。 この制限は、複雑なマルチモーダルクエリにおいてセマンティックコヒーレントな主題をグループ化する能力を阻害し、セマンティックアライメントの偏差として表される。 さらに、有能な視覚的対象をモデル化するための明確なガイダンスがなければ、LMMはテキストの手がかりに過度に依存する傾向にあり、視覚的モダリティは無視され、視覚的知識が最適に活用される。 そこで本研究では,SSA-ME(Salient Subject-Aware Multimodal Embedding)を提案する。 SSA-MEは、LMMと視覚の専門家を活用して、画像とテキストのペアにおける健全な視覚概念を特定し、強調する。 さらに、特徴再生モジュールは、派生したサリエンシマップに基づいて視覚的特徴を再検討し、モダリティ間でバランスよくセマンティックに整合した統合を保証する。 MMEBベンチマークにおいて,提案手法が最先端性能を達成することを示し,対象レベルのモデリングを組み込むことで,マルチモーダル検索が大幅に改善されることを実証した。 包括的質的分析は、我々のアプローチの解釈可能性と有効性をさらに示している。

関連論文リスト

• Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
  我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。 我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。 本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
  論文  参考訳（メタデータ） (2026-03-21T13:10:37Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• Multi-Modal Interpretability for Enhanced Localization in Vision-Language Models [2.984679075401059]
  本稿では,視覚言語モデルの解釈性向上を目的としたマルチモーダル説明型学習フレームワークを提案する。 我々のアプローチは、複数の意味レベルで特徴を処理し、異なる粒度における画像領域間の関係をキャプチャする。 意味関係情報を勾配に基づく属性マップに組み込むことで、MMELはより焦点を絞った、文脈を意識した視覚化を実現できることを示す。
  論文  参考訳（メタデータ） (2025-09-17T18:18:59Z)
• Reinforcing Spatial Reasoning in Vision-Language Models with Interwoven Thinking and Visual Drawing [62.447497430479174]
  空間における推論への描画は、視覚空間における基本的な描画操作を通じてLVLMを推論できる新しいパラダイムである。 我々のモデルはVILASRと呼ばれ、様々な空間推論ベンチマークで既存の手法より一貫して優れています。
  論文  参考訳（メタデータ） (2025-06-11T17:41:50Z)
• Exploring Implicit Visual Misunderstandings in Multimodal Large Language Models through Attention Analysis [21.869968563545736]
  我々は、暗黙的な視覚的誤解(IVM)を定義し、MLLMは視覚的入力を完全に理解することなく正しい回答を提供する。 IVMの定量化には,スケール非依存の計量,テクスチャータテンションの精度,新しいベンチマークを導入する。 我々は、より微細な粒度にアプローチを拡張し、その効果を単調なシナリオで実証する。
  論文  参考訳（メタデータ） (2025-05-15T17:52:40Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。