論文の概要: VaME: Exploring Variational Latent Reasoning for Multimodal Embeddings

• arxiv url: http://arxiv.org/abs/2609.33402v1
• Date: Sun, 27 Sep 2026 09:31:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:21:41.398789
• Title: VaME: Exploring Variational Latent Reasoning for Multimodal Embeddings
• Title（参考訳）: VaME:マルチモーダル埋め込みのための変分潜時推論
• Abstract要約: VaME(Variational Multimodal Embeddings)は、遅延推論を軌道上の学習可能な分布としてモデル化するフレームワークである。 78タスクのMMEB-V2ベンチマークでは、VaMEは最も明示的なCoTベースのモデルとすべての潜伏するベースラインを上回っている。 VaMEは、決定論的潜在自己回帰ベースラインよりも少なくとも4.25倍の速度でこれらのゲインを達成する。
• 参考スコア（独自算出の注目度）: 23.326765882364153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal multimodal retrieval requires compact embeddings that preserve task-relevant semantic information across diverse modalities. Prior works have incorporated latent reasoning into multimodal embedding learning to refine this information before embedding extraction. However, most existing approaches remain confined to deterministic latent paths, without exploring alternative trajectories to discover better embeddings. Thus, we propose VaME (Variational Multimodal Embeddings), a framework that models latent reasoning as a learnable distribution over trajectories. Specifically, we first introduce Variational Latent Reasoning (VLR) to enable autoregressive exploration in latent space, guided by answer reconstruction through a lightweight decoder. Meanwhile, we augment the original embedding-token readout with a latent-fused embedding to facilitate exploration during subsequent reinforcement learning. Finally, we optimize latent reasoning over stochastic variational trajectories through reinforcement learning, using Semantic Decoding Reward (SDR) to favor semantically meaningful trajectories with interpretable decoded outcomes. On the 78-task MMEB-V2 benchmark, spanning image, video, and visual-document retrieval, VaME outperforms most explicit CoT-based models and all latent-reasoning baselines. VaME also demonstrates robust performance on reasoning-intensive benchmarks such as MRMR, with substantial gains after reinforcement learning. Importantly, VaME achieves these gains with at least a 4.25x inference speedup over the deterministic latent autoregressive baselines. The code will be made publicly available.
• Abstract（参考訳）: ユニバーサルなマルチモーダル検索には、様々なモダリティにまたがるタスク関連セマンティック情報を保持するコンパクトな埋め込みが必要である。 従来の研究は、潜伏推論をマルチモーダル埋め込み学習に組み込んで、この情報を埋め込み抽出する前に洗練させている。 しかし、既存のほとんどのアプローチは、より良い埋め込みを発見するための代替軌道を探索することなく、決定論的潜在経路に限られている。 そこで我々は,遅延推論を軌道上の学習可能な分布としてモデル化する,VaME(Variational Multimodal Embeddings)を提案する。 具体的には、まず変分潜時推論(VLR)を導入し、軽量デコーダによる解答再構成により、潜時空間での自己回帰探索を可能にする。 一方, 後続の強化学習における探索を容易にするために, 潜伏型埋込み型埋込み型埋込み型読み出し装置を拡張した。 最後に,セマンティック・デコード・リワード (SDR) を用いた強化学習による確率的変動軌道に対する潜在的推論を最適化し,意味論的に意味のある軌道を解釈可能な復号結果で選択する。 78タスクの MMEB-V2 ベンチマークでは、画像、ビデオ、および視覚文書検索が、最も明示的なCoTベースのモデルと遅延推論ベースラインを上回っている。 VaMEはまた、MRMRのような推論集約型ベンチマークで堅牢な性能を示し、強化学習後にかなり向上した。 重要なことに、VaMEは決定論的潜在自己回帰ベースラインよりも少なくとも4.25倍の速度でこれらのゲインを達成する。 コードは公開されます。

関連論文リスト

• TRAM: Enhancing Multimodal Reasoning with Trajectory-Derived Auxiliary Memory [35.19442792860492]
  推論軌道が成長するにつれて、モデルがコンテキスト内で確立された情報の使用において効果が低下する可能性がある。 既存のアプローチは主に、推論を通して視覚的な接地を維持することでこの問題に対処する。 本稿では,TRAM(TRajectory- derived Auxiliary Memory)について紹介する。
  論文  参考訳（メタデータ） (2026-08-03T08:57:00Z)
• AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
  Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である 既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。 我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:26:34Z)
• Beyond Chain-of-Thought: Rewrite as a Universal Interface for Generative Multimodal Embeddings [32.702215732070826]
  MLLM(Multimodal Large Language Models)は、ユニバーサルなマルチモーダル埋め込みのための有望な基盤として登場した。 近年の研究では、推論駆動型生成多モード埋め込みは、複数の埋め込みタスクにおける識別的埋め込みよりも優れていることが示されている。 Rewrite-driven Multimodal Embedding (RIME)を提案する。
  論文  参考訳（メタデータ） (2026-04-24T06:50:11Z)
• PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
  ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。 最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
  論文  参考訳（メタデータ） (2026-04-02T14:04:53Z)
• From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
  疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。 モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。 タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
  論文  参考訳（メタデータ） (2026-01-28T09:29:40Z)
• Reasoning Guided Embeddings: Leveraging MLLM Reasoning for Improved Multimodal Retrieval [25.629529312687694]
  マルチモーダル大言語モデル(MLLM)の生成合理的なプロセスを保存するReasoning Guided Embeddings (RGE)を提案する。 提案手法はまず,命令に条件付き構造的有理数生成を実行し,推論が展開された後に表現を抽出する。 MMEBベンチマークの実験では、推論誘導条件が非推論ベースラインよりも4.9%向上することが示された。
  論文  参考訳（メタデータ） (2025-11-20T08:44:47Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。