論文の概要: LaME: Learning to Think in Latent Space for Multimodal Embedding via Information Bottleneck
- arxiv url: http://arxiv.org/abs/2606.13061v1
- Date: Thu, 11 Jun 2026 08:47:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.68049
- Title: LaME: Learning to Think in Latent Space for Multimodal Embedding via Information Bottleneck
- Title（参考訳）: LaME:インフォメーション・ボトルネックによるマルチモーダル・エンベッドのための潜在空間での思考学習
- Abstract要約: 本稿では,埋め込み指向の潜伏推論を弱教師付き情報ボトルネックとして定式化するLaMEを提案する。
LaMEは、学習可能な理由トークンを固定容量ボトルネックとして使用し、すべての推論を単一の前方パスで完了させる。
MMEB-v2 と MRMR の実験では、LaME はいくつかのCoT ベースのモデルを上回る競争性能を達成している。
- 参考スコア（独自算出の注目度）: 28.83441191878705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning-driven universal multimodal embedding has advanced rapidly by introducing Chain-of-Thought (CoT) reasoning into the embedding pipeline. Despite the strong performance across both general and complex tasks, this paradigm suffers from two core limitations: (i) autoregressive CoT reasoning incurs high computational cost, making it impractical for low-latency retrieval; and (ii) embedding performance is heavily coupled with CoT annotation quality, making large-scale training unreliable. These raise fundamental questions: Is textual CoT the optimal form of reasoning for embedding, and can effective embedding reasoning be accomplished in latent space? To this end, we propose LaME (Latent Reasoning Multimodal Embedding), which formulates embedding-oriented latent reasoning as a weakly supervised information bottleneck. LaME employs K learnable reason tokens as a fixed-capacity bottleneck, completing all reasoning within a single forward pass. The two weak supervision signals structurally decouple contrastive from autoregressive objectives and eliminate dependence on CoT annotations, while a two-stage training pipeline ensures stable convergence. Experiments on MMEB-v2 and MRMR show that LaME achieves competitive performance, surpassing some explicit CoT-based models, while delivering 60x faster inference than explicit CoT methods and 2x faster than latent baselines with throughput comparable to discriminative embedding models. Code will be released.
- Abstract（参考訳）: 共振駆動型ユニバーサルマルチモーダル埋め込みは、埋め込みパイプラインにChain-of-Thought (CoT)推論を導入することで急速に進歩した。
一般的なタスクと複雑なタスクの両方に強いパフォーマンスがあるにもかかわらず、このパラダイムは2つのコア制限に悩まされている。
(i)自己回帰的CoT推論は計算コストが高く、低遅延検索には実用的でない。
(II)埋め込み性能はCoTアノテーションの品質と大きく結びついているので、大規模なトレーニングは信頼性が低い。
テキストCoTは埋め込みの推論の最適な形式であり、潜在空間において効果的な埋め込み推論が達成できるか?
この目的のために、埋め込み指向の潜伏推論を弱教師付き情報ボトルネックとして定式化するLaME(Latent Reasoning Multimodal Embedding)を提案する。
LaMEは、学習可能な理由トークンを固定容量ボトルネックとして使用し、すべての推論を単一の前方パスで完了させる。
2つの弱い監視信号は自己回帰的目的とは対照的に構造的に分離し、CoTアノテーションへの依存を排除し、2段階の訓練パイプラインは安定した収束を保証する。
MMEB-v2 と MRMR の実験では、LaME は、いくつかの明示的な CoT ベースのモデルを超え、明示的な CoT メソッドよりも 60 倍高速な推論を提供し、差別的な埋め込みモデルに匹敵するスループットで潜時ベースラインより 2 倍高速な推論を実現している。
コードはリリースされる。
関連論文リスト
- SFAD: Speculative Factuality-Aware Decoding [13.350717038599386]
ConFideは、きめ細かい原子摂動を持つ選好データセットである。
てんかん摩擦は、専門的な確実性によって重み付けられた分布張力の定量化によって潜在的幻覚を検出する。
非対称ロジットステアリングは残基ロジット注入によりターゲット分布を洗練する。
論文 参考訳（メタデータ） (2026-09-01T06:46:54Z) - CONSISTRE: A Unified Consistency-Aware Framework for Document-Level Relation Extraction with Large Language Models [11.083514956613383]
ドキュメントレベルの関係抽出(DocRE)は、拡張コンテキスト間で複数のエンティティ間の関係を抽出することを目的としている。
大規模言語モデル (LLM) は情報抽出において顕著な推論能力を示す。
LLMは、推移性、対称性、機能的一意性といった基本的な関係的制約に反し、矛盾し、信頼できない出力をもたらす。
本稿では,この制限に対処するDocRE用の統合整合性対応フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-27T11:56:29Z) - SuCo: Sufficiency-guided Continuous Adaptive Reasoning [59.17222918775686]
大型共振モデル(LRM)は、しばしば超長鎖(CoT)を生成する。
この非効率を緩和するための既存の取り組みは、通常、個別の推論モードや固定予算層に依存します。
我々は,CoTトラジェクトリの最短接頭辞として定義された最小サフィシエント CoT (MSC) を導入する。
論文 参考訳（メタデータ） (2026-06-16T08:52:15Z) - PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。
最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。
PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
論文 参考訳（メタデータ） (2026-04-02T14:04:53Z) - Reinforcing Structured Chain-of-Thought for Video Understanding [49.3086326382764]
概要駆動強化学習(SDRL)を紹介する。
SDRLは、Supervised Fine-Tuning (SFT)の必要性を回避したシングルステージのRLフレームワークである。
提案手法は、7つの公開ビデオQAデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2026-03-26T22:11:14Z) - Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings [44.77164359074224]
マルチモーダル大規模言語モデル(MLLM)は、ユニバーサル・マルチモーダル・エンベディング(UME)の進展に欠かせないものとなっている。
近年の研究では、生成的連鎖(CoT)推論を取り入れることで、タスク固有の表現が大幅に向上することが示されている。
本稿では,Embedder-Guided Reinforcement Learning (EG-RL)を統合した推論駆動型UMEフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-14T15:35:03Z) - Efficient Paths and Dense Rewards: Probabilistic Flow Reasoning for Large Language Models [37.37112282368718]
CoT-Flowは、個別の推論ステップを継続的確率的フローとして再認識するフレームワークである。
CoT-Flowは推論効率と推論性能のバランスが優れていることを示す。
論文 参考訳（メタデータ） (2026-01-14T07:52:05Z) - SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。
暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。
そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
論文 参考訳（メタデータ） (2025-09-24T17:01:32Z) - Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。
既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。
本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
論文 参考訳（メタデータ） (2025-05-25T11:03:45Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳（メタデータ） (2025-05-19T11:30:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。