論文の概要: PUMA: Post-Hoc Sparsification of Universal Multimodal Embeddings for Efficient Retrieval

• arxiv url: http://arxiv.org/abs/2608.25780v1
• Date: Wed, 26 Aug 2026 13:26:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.843061
• Title: PUMA: Post-Hoc Sparsification of Universal Multimodal Embeddings for Efficient Retrieval
• Title（参考訳）: PUMA: 効率的な検索のためのユニバーサルマルチモーダル埋め込みのホック後のスポーリング
• Abstract要約: バックボーンを再トレーニングすることなく、マルチモーダル埋め込みをコンパクトなスパースコードにマッピングするスパースオートエンコーダレシピであるPUMAを紹介する。 テキスト・ツー・イメージと合成画像検索を対象とする5つのベンチマークの評価を行った。 Puma はベクトルストレージを 8-16x (FP32) 削減し、より大きい候補プールの精度の高いスコアよりも25倍高速である。
• 参考スコア（独自算出の注目度）: 50.986807025432476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Universal multimodal embedders enable retrieval across text, image, and combined queries, but their dense representations incur high memory and inference costs. Post-hoc sparsification could reduce these costs but remains underexplored for multimodal retrieval. We introduce PUMA, a sparse autoencoder recipe that maps universal multimodal embeddings to compact sparse codes without retraining the backbone: a pretraining stage preserves dense dot-product geometry, after which the sparse encoder is fine-tuned for retrieval. We evaluate on five benchmarks covering text-to-image and composed image retrieval. On Qwen3-VL-Embedding-2B, PUMA is statistically indistinguishable from or improves over dense retrieval on four of five datasets. We further identify two failure modes of post-hoc sparsification: insufficient pre-TopK support and retrieval-misaligned active support. PUMA reduces vector storage by 8-16x (FP32) and is up to 25x faster than exact dense scoring on larger candidate pools, enabling efficient multimodal retrieval.
• Abstract（参考訳）: ユニバーサルなマルチモーダル埋め込みは、テキスト、画像、複合クエリをまたいだ検索を可能にするが、その密度の高い表現は高いメモリと推論コストを発生させる。 ポストホックスペーサー化はこれらのコストを削減できるが、マルチモーダル検索には未熟である。 バックボーンをトレーニングすることなく、マルチモーダル埋め込みをコンパクトなスパースコードにマッピングするスパースオートエンコーダのレシピであるPUMAを導入する。 テキスト・ツー・イメージと合成画像検索を対象とする5つのベンチマークの評価を行った。 Qwen3-VL-Embedding-2Bでは、PUMAは統計的に5つのデータセットのうち4つの高密度検索と区別できない。 さらに、TopK前のサポートが不十分なことと、検索ミスアライメントされたアクティブサポートの2つの障害モードを同定する。 PUMAは、ベクトルストレージを8-16x(FP32)削減し、より大きい候補プールの精度の高いスコアよりも25倍高速で、効率的なマルチモーダル検索を可能にする。

関連論文リスト

• UEmbed: Unified Sparse and Dense Multimodal Embeddings [56.1131203949042]
  本稿では,デコーダのみのマルチモーダル埋め込みモデルUEmbedを紹介する。 緩やかな語彙と密度の表現を1つの因果前方通過で生成する。 UEmbedを2B、4B、9Bスケールでトレーニングし、公開されているデータに基づいてトレーニングされたマルチモーダル埋め込みモデルよりも優れています。 UEmbedは1つのモデルに密でスパースな埋め込みを統一し、さらにスパース検索を拡張してテキストとマルチモーダル入力を統一する、という新しいパラダイムを提供する。
  論文  参考訳（メタデータ） (2026-08-03T17:54:11Z)
• ReLoop-UME: Recurrent Depth with Learnable Retrieval Registers for Universal Multimodal Embedding [13.13700187820926]
  普遍的マルチモーダル埋め込みは、異質なマルチモーダル入力を共有埋め込み空間にマッピングする。 本稿では,初期レイヤを一度実行するReLoop-UMEを提案する。 MMEB-V2 と MRMR では、ReLoop-UME は UME-R1 よりも44.9倍、PLUME より1.5倍速く動作しながら、バックボーン間の検索を継続的に改善している。
  論文  参考訳（メタデータ） (2026-07-30T18:18:03Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Very Efficient Listwise Multimodal Reranking for Long Documents [7.558933130117637]
  リストワイズマルチモーダルリランカであるZipRerankを提案する。 軽量なクエリイメージの早期インタラクション機構を通じて、入力長を削減する。 MMDocIRベンチマークの実験では、ZipRerankは最先端のマルチモーダルリランカにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-12T09:45:59Z)
• MINER: Mining Multimodal Internal Representation for Efficient Retrieval [30.225207646393542]
  MINER (Mining Multimodal Internal RepreseNtation for Efficient Retrieval) は、トランスフォーマー層をまたいだ内部信号を単一のコンパクトな埋め込みに変換する軽量なプラグインモジュールである。 ViDoRe V1/V2/V3全体で、MINERは既存の高密度なシングルベクターレトリバーをベンチマークの大部分で上回り、対応するバックボーンよりも最大4.5%のnDCG@5改善されている。
  論文  参考訳（メタデータ） (2026-05-07T15:51:06Z)
• Multivector Reranking in the Era of Strong First-Stage Retrievers [11.098422338598454]
  2つの公開データセット上で、最先端のマルチベクタ検索手法を再現する。 トークンレベルの集合フェーズを単一ベクトル文書検索器に置き換えることで,より小さく,より意味的に一貫性のある候補セットが生成されることを示す。 我々の2段階のアプローチは、最先端のマルチベクター検索システムに対して24ドル以上のスピードアップを実現し、同等または優れた検索品質を維持しています。
  論文  参考訳（メタデータ） (2026-01-08T18:22:18Z)
• VLM2GeoVec: Toward Universal Multimodal Embeddings for Remote Sensing [59.73939718087177]
  シングルエンコーダの視覚言語モデルは、統合ベクトル空間にインターリーブされた入力を埋め込むために対照的に訓練された。 VLM2GeoVecは、領域レベルの空間推論とスケーラブルな検索を統合し、リモートセンシングにおける凝集性多モード解析を可能にする。
  論文  参考訳（メタデータ） (2025-12-12T11:39:35Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• Progressively Pretrained Dense Corpus Index for Open-Domain Question Answering [87.32442219333046]
  本稿では,段落エンコーダを事前学習するための簡易かつ資源効率の高い手法を提案する。 本手法は,事前学習に7倍の計算資源を使用する既存の高密度検索法より優れている。
  論文  参考訳（メタデータ） (2020-04-30T18:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。