論文の概要: ResComEmb: Effective and Efficient Multimodal Embedding via Residual Homogeneity Compression

• arxiv url: http://arxiv.org/abs/2609.37225v1
• Date: Tue, 29 Sep 2026 10:39:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.425035
• Title: ResComEmb: Effective and Efficient Multimodal Embedding via Residual Homogeneity Compression
• Title（参考訳）: ResComEmb:残留均一圧縮による効率的かつ効率的なマルチモーダル埋め込み
• Abstract要約: ResComEmbは、効果的で効率的なマルチベクトルマルチモーダル埋め込みのためのフレームワークである。 ネイティブな動的解像度で各入力を順序付けられたグローバル、中間、微粒なビューにエンコードする。 そして、明示的な視覚トークン予算の下で、粒内冗長性と粒内反復を減少させる。
• 参考スコア（独自算出の注目度）: 46.893870798893595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have shown strong potential for universal multimodal representation learning. However, existing methods either compress each input into a single vector, limiting fine-grained expressiveness, or retain long sequences of visual-token vectors, incurring substantial storage and interaction costs. To resolve this trade-off, we propose ResComEmb, a trainable framework for effective and efficient universal multi-vector multimodal embedding. ResComEmb first encodes each input at native dynamic resolution into ordered global, intermediate, and fine-grained views. After MLLM contextualization and embedding projection, a trainable Residual Homogeneity Compression (RHC) module reduces within-granularity redundancy and cross-granularity repetition under explicit visual token budgets. Then, ResComEmb introduces a length-adaptive Bidirectional Late-Interaction Matching mechanism for robust query-document scoring, which averages the strongest token-level matches in each direction and combines the two scores using a weight based on how many valid tokens each side has. Extensive experiments on MMEB, ViDoRe V1, and ViDoRe V2 show that ResComEmb produces higher-quality universal multimodal embeddings than VLM2Vec-V2, and outperforms ColQwen2.5 in visual document retrieval using only 37.5% of its full visual token budget, demonstrating a favorable effectiveness-efficiency trade-off.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は,多モーダル多モーダル表現学習において大きな可能性を秘めている。 しかし、既存の方法では、各入力を1つのベクトルに圧縮し、きめ細かな表現性を制限するか、視覚的なベクトルの長いシーケンスを保持し、かなりの記憶と相互作用のコストを発生させる。 このトレードオフを解決するために,効率的なマルチベクトルマルチモーダル埋め込みのためのトレーニング可能なフレームワークであるResComEmbを提案する。 ResComEmbはまず、各入力をネイティブな動的解像度で、順序付けられたグローバル、中間、きめ細かいビューにエンコードする。 MLLMのコンテキスト化と埋め込みプロジェクションの後に、トレーニング可能なResidual Homogeneity Compression (RHC)モジュールは、明示的な視覚トークン予算の下での粒内冗長性と粒間反復を減少させる。 次にResComEmbは、ロバストな問合せ文書スコアのための長順な双方向ラテン・インタラクションマッチング機構を導入し、各方向における最強のトークンレベルマッチを平均化し、各辺の有効なトークンの数に基づいて重みを使って2つのスコアを組み合わせる。 MMEB、ViDoRe V1、ViDoRe V2の広範囲にわたる実験により、ResComEmbはVLM2Vec-V2よりも高品質なユニバーサルなマルチモーダル埋め込みを生産し、完全なビジュアルトークン予算の37.5%しか使用せず、ColQwen2.5よりも優れていることが示されている。

関連論文リスト

• UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval [87.12447641908143]
  組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。 UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。 ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。 ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
  論文  参考訳（メタデータ） (2026-04-22T08:16:50Z)
• MURE: Hierarchical Multi-Resolution Encoding via Vision-Language Models for Visual Document Retrieval [111.99106496142474]
  Visual Document Retrieval (VDR)は、微細な視覚的詳細とグローバルな文書構造の両方をキャプチャする表現を必要とする。 既存のVDRモデルは、高解像度文書を処理する際に効率と効率のバランスをとるのに苦労する。 本稿では,X-VisEmbパラダイムを提案する。X-VisEmbパラダイムは,多分解能サンプリングと符号化から,粒度横断的特徴融合から適応的表現蒸留へと進展する。
  論文  参考訳（メタデータ） (2026-03-07T15:17:22Z)
• Magic-MM-Embedding: Towards Visual-Token-Efficient Universal Multimodal Embedding with MLLMs [10.443777669301983]
  MLLM(Multimodal Large Language Models)は,マルチモーダル検索において非常に有望であることを示す。 しかし、それらの実用的な応用は、視覚的な入力から大量のトークンを処理することから生じる相当な計算コストによって妨げられることが多い。 汎用マルチモーダル埋め込みにおいて,高効率および最先端性能を実現する一連の新しいモデルであるMagic-MM-Embeddingを提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:01:01Z)
• CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding [71.88471147281406]
  マルチベクトル埋め込み構築のための自動回帰生成手法CausalEmbedを提案する。 コントラストトレーニング中に反復的マージン損失を導入することで、CausalEmbedは埋め込みモデルにコンパクトでよく構造化された表現を学ぶことを奨励する。 本手法は,数十個の視覚トークンを用いた効率的なVDR処理を実現し,トークン数を30～15倍削減する。
  論文  参考訳（メタデータ） (2026-01-29T04:47:27Z)
• ReMatch: Boosting Representation through Matching for Multimodal Retrieval [29.610030065465793]
  ReMatchはマルチモーダル検索にMLLMの生成強度を利用するフレームワークである。 組込みMLLMをチャット形式の生成マッチングステージで訓練する。 実験では, 5つのデータセットに対して, 特に強いゼロショット一般化結果を示した。
  論文  参考訳（メタデータ） (2025-11-24T16:28:49Z)
• AVAM: Universal Training-free Adaptive Visual Anchoring Embedded into Multimodal Large Language Model for Multi-image Question Answering [10.967073982905752]
  本稿では,既存のMLLMにシームレスに統合可能な,単純かつ普遍的な適応型ビジュアルアンカリング戦略を提案する。 グローバルな視覚入力と圧縮された視覚入力の両方から得られる結果のバランスをとるために,新しい協調的復号機構を導入する。
  論文  参考訳（メタデータ） (2025-08-25T10:10:46Z)
• DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
  視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。 まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。 第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
  論文  参考訳（メタデータ） (2025-04-23T18:38:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。