論文の概要: AdaptiveEmbed: Sample-Adaptive Multi-Vector Representation for Multimodal Retrieval

• arxiv url: http://arxiv.org/abs/2608.25412v1
• Date: Wed, 26 Aug 2026 06:15:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.614729
• Title: AdaptiveEmbed: Sample-Adaptive Multi-Vector Representation for Multimodal Retrieval
• Title（参考訳）: AdaptiveEmbed:マルチモーダル検索のためのサンプル適応型マルチベクトル表現
• Abstract要約: emphSample-Adaptive Multi-Embed Representation (SAMVR)を紹介する。 SAMVRでは、各サンプルはサンプル固有の検索ユーティリティによってキャパシティが決定されるEmphcontent-Adaptive Embedding Set (CAES)によって表現される。 実験により,SAMVRは固定容量マルチベクトル表現よりも優れた検索性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 35.19142913999235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-vector representations have emerged as an effective paradigm for multimodal retrieval, representing each sample with multiple complementary embeddings to capture fine-grained cross-modal information. However, existing approaches typically employ a fixed representation capacity, assigning the same number of vectors to all samples regardless of their individual retrieval demands. Such a fixed-capacity formulation overlooks the fact that different samples may require different amounts of representation capacity for effective retrieval. In this work, we introduce \emph{Sample-Adaptive Multi-Vector Representation} (SAMVR), a new problem setting for multimodal retrieval that studies how multi-vector representation capacity can be allocated at the sample level. Under SAMVR, each sample is represented by a \emph{content-adaptive embedding set} (CAES), whose capacity is determined according to the sample-specific retrieval utility of additional representation vectors. To instantiate SAMVR, we propose \emph{AdaptiveEmbed}, a unified framework for learning sample-adaptive multi-vector representations. AdaptiveEmbed learns structured multi-vector representations through \emph{Multi-Group Contrastive Learning} (MGCL) with the symmetric \emph{set-to-set similarity} (SetSim), and further employs \emph{Utility Policy Optimization} (UPO) to determine sample-specific representation capacity via \emph{Marginal Utility Allocation} (MUA). Experiments across multimodal retrieval benchmarks involving image, text, video, and audio show that sample-adaptive capacity allocation achieves overall better retrieval performance than fixed-capacity multi-vector representations, validating the effectiveness of SAMVR for multimodal retrieval. These results establish SAMVR as a viable formulation for adaptive capacity allocation in multi-vector multimodal retrieval.
• Abstract（参考訳）: マルチベクトル表現はマルチモーダル検索の有効なパラダイムとして出現し、各サンプルを複数の補完的な埋め込みで表現し、細粒なクロスモーダル情報を取得する。 しかし、既存のアプローチは一般に固定表現能力を使用し、個々の検索要求に関係なく、全てのサンプルに同じ数のベクトルを割り当てる。 このような固定容量の定式化は、異なるサンプルが効率的な検索のために異なる量の表現能力を必要とするという事実を見落としている。 本研究では,マルチモーダル検索のための新しい問題設定として,サンプルレベルでのマルチベクトル表現能力の割り当てについて検討する。 SAMVRでは、各サンプルは \emph{content-adaptive embedded set} (CAES) で表現され、その容量は追加表現ベクトルのサンプル固有の検索ユーティリティに基づいて決定される。 SAMVR のインスタンス化のために,サンプル適応型マルチベクトル表現を学習するための統合フレームワークである \emph{AdaptiveEmbed} を提案する。 AdaptiveEmbed は \emph{Multi-Group Contrastive Learning} (MGCL) と対称な \emph{set-to-set similarity} (SetSim) を通して構造化されたマルチベクトル表現を学び、さらに \emph{Utility Policy Optimization} (UPO) を用いて \emph{Marginal Utility Allocation} (MUA) を介してサンプル特異的表現能力を決定する。 画像、テキスト、ビデオ、オーディオを含むマルチモーダル検索のベンチマーク実験により、サンプル適応キャパシティアロケーションは、固定容量のマルチベクトル表現よりも総合的に優れた検索性能を実現し、マルチモーダル検索におけるSAMVRの有効性を検証した。 これらの結果は、多ベクトルマルチモーダル検索における適応キャパシティアロケーションのための実行可能な定式化としてSAMVRを確立した。

関連論文リスト

• Sample Is Feature: Beyond Item-Level, Toward Sample-Level Tokens for Unified Large Recommender Models [14.332200648147863]
  textbfSIF (emphSample Is Feature) を提案する。 textbfSample Tokenizerは、各歴史的なRawサンプルを階層的なグループ適応量子化によってTokenサンプルに量子化する。 textbfSIF-Mixerは、トークンレベルとサンプルレベルの混合を通じて、同種サンプル表現に対する深い特徴相互作用を行い、モデルの表現能力を完全に解放する。
  論文  参考訳（メタデータ） (2026-04-17T02:47:31Z)
• From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space [78.36537400975298]
  グループ相対政策最適化(GRPO)は、テキスト・ツー・イメージ(T2I)フローモデルにおいて、優先順位調整のための強力なフレームワークとして登場した。 条件空間を拡大することで関係探索を強化する新しい手法であるMulti-View GRPOを提案する。 MV-GRPOは最先端手法よりも優れたアライメント性能を実現する。
  論文  参考訳（メタデータ） (2026-03-13T04:35:13Z)
• LEMUR: Learned Multi-Vector Retrieval [9.22384870426709]
  マルチベクタ類似度探索のためのフレームワーク LEMUR を紹介する。 LEMURは2つの連続した問題削減で構成されている。 LEMURは、従来のマルチベクトル類似性探索法よりも桁違いに高速である。
  論文  参考訳（メタデータ） (2026-01-29T15:26:32Z)
• Investigating Multi-layer Representations for Dense Passage Retrieval [46.25475369974163]
  文書の表現を構成するために多層表現(MLR)を示す。 まず,異なる層における表現がマルチベクトル検索条件下でのMLRの性能に与える影響について検討する。 本稿では,マルチベクタモデルから単一ベクタモデルへのプーリング戦略を活用することで,検索効率を向上させることを提案する。
  論文  参考訳（メタデータ） (2025-09-28T13:00:53Z)
• Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation [61.64052577026623]
  実世界のマルチビューデータセットは、しばしば不均一で不完全である。 本稿では,表現融合とアライメントを同時に行う新しいロバストMVL法(RML)を提案する。 我々のRMLは自己教師型であり、正規化として下流のタスクにも適用できます。
  論文  参考訳（メタデータ） (2025-03-06T07:01:08Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• VRSD: Rethinking Similarity and Diversity for Retrieval in Large Language Models [43.53494041932615]
  ベクトル検索アルゴリズムは、大規模言語モデルにおける急速に進化するランドスケープ内のセマンティッククエリーに不可欠である。 本稿では,和ベクトルと問合せベクトルの関係から,両制約を特徴付ける新しい手法を提案する。 本稿では,VRSDの類似性と多様性を考慮したベクトル検索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-05T15:08:44Z)
• MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
  マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:30:35Z)
• Deep Incomplete Multi-view Clustering with Cross-view Partial Sample and Prototype Alignment [50.82982601256481]
  深層不完全なマルチビュークラスタリングのためのクロスビュー部分サンプルとプロトタイプアライメントネットワーク(CPSPAN)を提案する。 従来のコントラストベースの手法とは異なり、インスタンスとインスタンスの対応構築を導くために、ペア観測データアライメントを「プロキシ監視信号」として採用する。
  論文  参考訳（メタデータ） (2023-03-28T02:31:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。