論文の概要: Skim and Skip: Hierarchical Adaptive Inference for Efficient Multimodal Retrieval

• arxiv url: http://arxiv.org/abs/2609.01613v1
• Date: Wed, 24 Jun 2026 06:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.433946
• Title: Skim and Skip: Hierarchical Adaptive Inference for Efficient Multimodal Retrieval
• Title（参考訳）: Skim and Skip: 効率的なマルチモーダル検索のための階層型適応推論
• Abstract要約: Skim and Skip (SAS) は効率的なマルチモーダル検索のための階層型適応推論フレームワークである。 SASは、最終検索埋め込みに最も関係のある入力情報のみを保持するためにトークンレベルのエビデンス選択を行う。 12個のMMEB検索タスクの実験では、SASは密度の高いベースラインの平均検索性能の約99%を維持している。
• 参考スコア（独自算出の注目度）: 66.50180500995627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal multimodal retrieval (UMR) increasingly adopts multimodal large language models (MLLMs) as unified embedding backbones, but their strong retrieval performance comes at substantial inference cost. Existing methods typically rely on uniformly dense inference, where all input tokens are processed through the entire model and matched using the final-layer [EOS] representation. However, this paradigm overlooks two key forms of heterogeneity in multimodal retrieval: token contributions to the final retrieval embedding are highly uneven, and different queries require markedly different amounts of inference depth. To address this, we propose Skim and Skip (SAS), a hierarchical adaptive inference framework for efficient multimodal retrieval. SAS first performs token-level evidence selection to preserve only the input information most relevant to the final retrieval embedding, and then performs depth-adaptive inference to determine whether the current representation is already sufficient for reliable matching. Experiments on 12 MMEB retrieval tasks show that SAS retains about 99% of the dense baseline's average retrieval performance while achieving up to 1.64 times end-to-end speedup and up to 66.3% FLOPs reduction.
• Abstract（参考訳）: ユニバーサルマルチモーダル検索 (UMR) では, 組込みバックボーンとしてマルチモーダル大言語モデル (MLLM) が採用されているが, その強力な検索性能は, かなりの推論コストで実現されている。 既存のメソッドは通常、全ての入力トークンがモデル全体を通して処理され、最終層[EOS]表現を使用してマッチする、一様に密度の高い推論に依存します。 しかし、このパラダイムは、マルチモーダル検索における2つの重要な不均一性を見落としている: 最終検索埋め込みへのトークンの寄与は、非常に不均一であり、異なるクエリは、明らかに異なる量の推論深度を必要とする。 そこで我々は,効率的なマルチモーダル検索のための階層型適応推論フレームワークであるSkim and Skip (SAS)を提案する。 SASは、まず、最終検索埋め込みに関連する入力情報のみを保持するためにトークンレベルのエビデンス選択を行い、次いで、深さ適応推論を行い、現在の表現が既に信頼できるマッチングに十分かどうかを判断する。 12のMMEB検索タスクの実験では、SASは密度の高いベースラインの平均検索性能の99%を維持し、最大1.64倍のエンドツーエンドのスピードアップと66.3%のFLOPの削減を実現している。

関連論文リスト

• Beyond Global Similarity: Towards Fine-Grained, Multi-Condition Multimodal Retrieval [27.493644447594367]
  MCMR (Multi-Conditional Multimodal Retrieval) は、自然言語クエリによる細粒度・多条件クロスモーダル検索を評価するために設計された大規模ベンチマークである。 製品ドメインは、上着と下着、宝石、靴、家具の5つ。 MLLMベースのマルチモーダルレトリバーと視覚言語リランカの多種多様なスイートをベンチマークし,その条件認識推論能力を評価する。
  論文  参考訳（メタデータ） (2026-03-01T12:53:47Z)
• GENIUS: A Generative Framework for Universal Multimodal Search [26.494338650656594]
  本稿では,複数のモダリティやドメインにまたがる多様なタスクを支援する汎用的な生成検索フレームワークGENIUSを提案する。 GENIUSは、モダリティを分離したセマンティック量子化を導入し、マルチモーダルデータをモダリティとセマンティクスの両方をコードする離散IDに変換する。 汎用性を高めるために,クエリとターゲットを補間するクエリ拡張を提案し,genIUSが様々なクエリ形式に適応できるようにする。
  論文  参考訳（メタデータ） (2025-03-25T17:32:31Z)
• MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs [78.5013630951288]
  本稿では,マルチモーダル大言語モデル(MLLM)を用いた情報検索手法を提案する。 まず,16個の検索タスクを持つ10個のデータセットに対して,MLLMをバイエンコーダレトリバーとして微調整する。 我々のモデルMM-Embedはマルチモーダル検索ベンチマークM-BEIR上で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-11-04T20:06:34Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。