論文の概要: SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs

• arxiv url: http://arxiv.org/abs/2504.13172v1
• Date: Thu, 17 Apr 2025 17:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:37:34.053644
• Title: SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs
• Title（参考訳）: SemCORE: MLLMを使用したセマンティック強化ジェネレーティブクロスモーダル検索フレームワーク
• Authors: Haoxuan Li, Yi Bin, Yunshan Ma, Guoqing Wang, Yang Yang, See-Kiong Ng, Tat-Seng Chua,
• Abstract要約: セマンティック強化型Cross-mOdal Retrievalフレームワーク(SemCORE)を提案する。 まず,自然言語の理解と生成に最適化された生成モデルとターゲット識別子を効果的に整合させる構造化自然言語識別器(SID)を構築した。 次に、粒度の細かいターゲット識別を可能にするジェネレーティブ・セマンティック・検証(GSV)戦略を導入する。
• 参考スコア（独自算出の注目度）: 70.79124435220695
• License:
• Abstract: Cross-modal retrieval (CMR) is a fundamental task in multimedia research, focused on retrieving semantically relevant targets across different modalities. While traditional CMR methods match text and image via embedding-based similarity calculations, recent advancements in pre-trained generative models have established generative retrieval as a promising alternative. This paradigm assigns each target a unique identifier and leverages a generative model to directly predict identifiers corresponding to input queries without explicit indexing. Despite its great potential, current generative CMR approaches still face semantic information insufficiency in both identifier construction and generation processes. To address these limitations, we propose a novel unified Semantic-enhanced generative Cross-mOdal REtrieval framework (SemCORE), designed to unleash the semantic understanding capabilities in generative cross-modal retrieval task. Specifically, we first construct a Structured natural language IDentifier (SID) that effectively aligns target identifiers with generative models optimized for natural language comprehension and generation. Furthermore, we introduce a Generative Semantic Verification (GSV) strategy enabling fine-grained target discrimination. Additionally, to the best of our knowledge, SemCORE is the first framework to simultaneously consider both text-to-image and image-to-text retrieval tasks within generative cross-modal retrieval. Extensive experiments demonstrate that our framework outperforms state-of-the-art generative cross-modal retrieval methods. Notably, SemCORE achieves substantial improvements across benchmark datasets, with an average increase of 8.65 points in Recall@1 for text-to-image retrieval.
• Abstract（参考訳）: クロスモーダル検索(CMR)はマルチメディア研究における基本的な課題であり、様々なモダリティにまたがる意味論的対象の検索に重点を置いている。 従来のCMR法は、埋め込みに基づく類似性計算によってテキストと画像に一致するが、近年、事前学習された生成モデルの進歩により、生成的検索が有望な代替手段として確立されている。 このパラダイムは、各ターゲットにユニークな識別子を割り当て、生成モデルを利用して、明示的なインデックス付けなしで入力クエリに対応する識別子を直接予測する。 その大きな可能性にもかかわらず、現在の生成的CMRアプローチは識別子の構築と生成プロセスの両方において意味情報不足に直面している。 これらの制約に対処するために, 意味理解能力の開放を目的とした, セマンティック強化型Cross-mOdal Retrievalフレームワーク(SemCORE)を提案する。 具体的には、まず、ターゲット識別子と、自然言語の理解と生成に最適化された生成モデルとを効果的に整合させる構造化自然言語識別器(SID)を構築する。 さらに,粒度の細かいターゲット識別を可能にするジェネレーティブ・セマンティック・検証(GSV)戦略を導入する。 さらに、私たちの知る限り、SemCOREは、生成的クロスモーダル検索において、テキスト・ツー・イメージと画像・トゥ・テキスト検索の両方を同時に検討する最初のフレームワークである。 大規模な実験により、我々のフレームワークは最先端のクロスモーダル検索法より優れていることが示された。 特に、SemCOREはベンチマークデータセット間で大幅に改善されており、テキスト・ツー・イメージ検索のRecall@1では平均8.65ポイントが増加した。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [9.109484087832058]
  リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。 上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。 RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
  論文  参考訳（メタデータ） (2024-10-11T08:28:04Z)
• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• TIGeR: Unifying Text-to-Image Generation and Retrieval with Large Multimodal Models [96.72318842152148]
  1つのLMM(Large Multimodal Model)を用いたテキスト・画像生成と検索のための統合フレームワークを提案する。 具体的には,LMMの本質的な識別能力について検討し,テキスト・画像検索のための効率的な生成的検索手法を提案する。 次に、テキストプロンプトに対する応答として、生成画像と検索画像の間で最適なマッチング画像を選択するための自律決定機構を提案する。
  論文  参考訳（メタデータ） (2024-06-09T15:00:28Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• GQE-PRF: Generative Query Expansion with Pseudo-Relevance Feedback [8.142861977776256]
  PRFに基づくクエリ拡張にテキスト生成モデルを効果的に統合する新しい手法を提案する。 提案手法では,初期クエリと擬似関連フィードバックの両方を条件としたニューラルテキスト生成モデルを用いて,拡張クエリ項を生成する。 2つのベンチマークデータセットを用いて,情報検索タスクに対するアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2021-08-13T01:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。