論文の概要: Generative Universal Multimodal Retrieval with Dual-role Identifiers

• arxiv url: http://arxiv.org/abs/2608.12987v1
• Date: Thu, 13 Aug 2026 09:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.459452
• Title: Generative Universal Multimodal Retrieval with Dual-role Identifiers
• Title（参考訳）: Dual-Role Identifier を用いたユニバーサルマルチモーダル検索
• Abstract要約: 本稿ではDrIGを提案する。DrIGはDual-role Identifierを特徴とするユニバーサルマルチモーダル検索のための新しい生成フレームワークである。 DrIGは、多種多様なタスクにまたがって、最先端のマルチモーダルベースラインを一貫して上回り、一方、ハイブリッドリグレードは、強い高密度レトリバーに対して好適な効率効率効率のトレードオフを実現する。
• 参考スコア（独自算出の注目度）: 1.0981910170846492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative information retrieval (GIR) has emerged as a compelling alternative to the conventional index-retrieve-then-rank retrieval pipeline by training a generator to produce the identifiers of relevant items directly. Despite its promise, a number of open challenges still remain. First, constrained left-to-right decoding is vulnerable to prefix-level errors and local optima. Second, most prior GIR research remains largely unimodal, leaving instruction-aware retrieval across text, image, and mixed image-text items underexplored. Third, although discrete identifier-based GIR offers higher efficiency, its retrieval accuracy still lags behind that of the cutting-edge dense-vector-based retrieval methods. Motivated by these challenges, we propose DrIG, a novel Generative framework for universal multimodal retrieval featuring Dual-role Identifiers, which supports diverse retrieval tasks across multiple modalities and domains. Each candidate is assigned a single residual-quantized identifier that serves two complementary roles. In its sequential role, the identifier is decoded autoregressively, where the first token explicitly models modality and the remaining tokens capture progressively finer semantics. In its set-based role, the same tokens are reinterpreted as an unordered set to provide a prefix-independent relevance prior, which guides constrained beam search and alleviates local-optimum errors. Extensive experiments on the M-BEIR benchmark and the text-to-image evaluation datasets show that:(1)DrIG consistently outperforms state-of-the-art generative multimodal baselines across diverse tasks, while hybrid reranking achieves a favorable efficiency-effectiveness trade-off against strong dense retrievers. (2)Ablation and scaling analyses reveal how the base LMM, beam size, reranking depth, and fusion strategy affect retrieval performance, providing practical guidance for system design.
• Abstract（参考訳）: 生成情報検索(GIR)は、関連する項目の識別子を直接生成するようにジェネレータを訓練することで、従来のインデックス検索ランク検索パイプラインに代わる魅力的な代替手段として登場した。 約束にもかかわらず、多くのオープンな課題が残っている。 第一に、制約付き左から右への復号化はプレフィックスレベルのエラーと局所的なオプティマに対して脆弱である。 第2に、これまでのほとんどのGIR研究は、テキスト、画像、混合画像テキストアイテムにわたる命令認識検索を未探索のまま残している。 第3に、離散識別子ベースのGIRは高い効率を提供するが、その検索精度は最先端の高密度ベクトルベースの検索方法よりも遅れている。 これらの課題に乗じて,DrIGを提案する。DrIGはDual-role Identifierを特徴とする,多目的検索のための新しい生成フレームワークで,複数のモダリティやドメインにまたがる多様な検索タスクをサポートする。 各候補には、2つの補完的な役割を担う1つの残留量子化識別子が割り当てられる。 そのシーケンシャルな役割において、識別子は自己回帰的にデコードされ、最初のトークンはモダリティを明示的にモデル化し、残りのトークンは徐々に微細なセマンティクスをキャプチャする。 セットベースのロールでは、同じトークンを非順序集合として再解釈し、プレフィックス非依存の関連性を提供する。 M-BEIRベンチマークとテキスト・ツー・イメージ評価データセットの大規模な実験により、(1)DrIGは、様々なタスクにまたがる最先端のマルチモーダルベースラインを一貫して上回り、一方、ハイブリッドリグレードは、強い高密度レトリバーに対して好適な効率と効率のトレードオフを達成します。 2) Ablation and Scaling Analysis revealed the base LMM, beam size, re rank depth, and fusion strategy affect recovery performance, provide practical guidance for system design。

関連論文リスト

• Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval [17.695551248974215]
  UniME-R1は、最初に検索された候補を推論することを学ぶ組込みアドバイザフレームワークである。 UniME-R1は、強いベースライン上での検索性能を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-06T14:04:56Z)
• Achieving Text-based Person Retrieval with Any Granularity [80.69427598925718]
  本稿では、任意の粒度を持つテキストベースの人物検索という新しいパラダイムを紹介する。 5段階の粒度スペクトルを定式化し,高品質な多粒度アノテートデータセットであるUFine6926-MGを構築した。 次に、クロスモーダルな多重粒度アライニングおよびマッチングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-23T08:42:25Z)
• Beyond Fixed Depths and Widths: Optimizing Textual Decoding Tries in LLM-based Generative Recommendation [59.20704286413859]
  本稿では,テキスト用語IDとその基盤となるデコードトリエを共設計する新しいフレームワークを提案する。 BONSAIは最先端のベースラインよりも21.6%向上している。
  論文  参考訳（メタデータ） (2026-07-18T04:31:02Z)
• Hierarchical Evidence-Driven Reasoning for Long Document Understanding [95.51688464037096]
  閉領域文書理解のための階層的・エビデンス駆動型マルチモーダルRAGフレームワークであるHIEVI-RAGを紹介する。 我々のフレームワークは、既存のオープンソースベースラインを著しく上回り、最強の報告ベースラインを平均8.05%の精度で上回ります。
  論文  参考訳（メタデータ） (2026-07-06T03:08:28Z)
• MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
  検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。 現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。 本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-01T12:27:40Z)
• A Simple and Effective Framework for Symmetric Consistent Indexing in Large-Scale Dense Retrieval [11.72564658353791]
  大規模情報検索システムでは,高効率・競争精度のため,高密度検索が業界標準となっている。 広く採用されているデュアルトウワー符号化アーキテクチャは、主に表現空間のミスアライメントと検索インデックスの不整合という、固有の課題を導入している。 本稿では2つの相乗的モジュールからなるシンプルで効果的なSCIフレームワークを提案する。 提案手法の有効性は,公開データセットと実世界のeコマースデータセットにまたがる結果によって検証され,理論的に保証される。
  論文  参考訳（メタデータ） (2025-12-15T08:11:24Z)
• SemCORE: A Semantic-Enhanced Generative Cross-Modal Retrieval Framework with MLLMs [70.79124435220695]
  セマンティック強化型Cross-mOdal Retrievalフレームワーク(SemCORE)を提案する。 まず,自然言語の理解と生成に最適化された生成モデルとターゲット識別子を効果的に整合させる構造化自然言語識別器(SID)を構築した。 次に、粒度の細かいターゲット識別を可能にするジェネレーティブ・セマンティック・検証(GSV)戦略を導入する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:27Z)
• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• ASI++: Towards Distributionally Balanced End-to-End Generative Retrieval [29.65717446547002]
  ASI++は、新しいエンドツーエンドの生成検索手法である。 バランスの取れたIDの割り当てを同時に学習し、検索性能を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-05-23T07:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。