論文の概要: Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings

• arxiv url: http://arxiv.org/abs/2610.32474v1
• Date: Fri, 23 Oct 2026 10:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.498555
• Title: Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings
• Title（参考訳）: ポスト・ホック・リワードを超えて:マルチモーダル・エンベディングのための予備的推論探索
• Abstract要約: PILOTは、推論を潜在変数としてモデル化し、その事前および後続分布を共有MLLMの別個の推論モードとしてインスタンス化するフレームワークである。 この結果から, 関係性監視はポストホック報酬ではなく, 推論モデルの学習において, 推論がどのように探索されるかを示すシグナルとして有用であることが示唆された。
• 参考スコア（独自算出の注目度）: 17.247837717750844
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Advances in Multimodal Large Language Models (MLLMs) have driven substantial progress in multimodal embeddings. Recent methods exploit generative capabilities by augmenting embedded inputs with self-generated reasoning to produce more informative embeddings. However, conventional retrieval supervision for training embedding models specifies pairwise relevance relations without explicitly guiding the reasoning used for input augmentation. Such reasoning is neither directly observed nor uniquely determined by the input, allowing multiple plausible traces to introduce semantic cues of varying retrieval utility. Existing approaches largely optimize reasoning conditioned on the input alone, limiting the exploration of retrieval-relevant traces. We introduce PILOT, a framework that models reasoning as a latent variable and instantiates its prior and posterior distributions as distinct reasoning modes of a shared MLLM. The prior conditions only on the input, whereas the posterior uses additional training-time relational evidence to guide reasoning exploration. To translate the posterior's broader exploration into inference-time improvements, we derive an importance-weighted variational objective and instantiate it as a prior-posterior co-evolution framework that improves both modes under a shared inference-compatible reward while selectively transferring posterior trajectories to the prior according to their utility and prior reachability. On the 78-task MMEB-V2 benchmark, PILOT outperforms the primary baseline across all 12 task groups at both 2B and 7B parameters, improving overall scores by 3.2 and 3.3 points, respectively, with the largest gains in visual-document retrieval (+6.1 and +6.4 points). Our results show that relational supervision is most valuable not as a post-hoc reward but as a signal for shaping how reasoning is explored in training reasoning-enhanced embedding models.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の進歩は、マルチモーダル埋め込みにおいて大きな進歩をもたらした。 近年の手法は、組み込み入力を自己生成推論で拡張して、より情報的な埋め込みを生成することによって、生成能力を活用する。 しかし,従来の組込みモデルの検索指導では,入力拡張に使用する推論を明示的に導くことなく,ペアワイズ対応関係を規定している。 このような推論は直接に観察されず、また入力によって一意に決定されるわけでもなく、複数のもっともらしいトレースが様々な検索ユーティリティのセマンティックキューを導入することができる。 既存のアプローチは、入力のみに条件付き推論を最適化し、検索関連トレースの探索を制限している。 PILOTは、推論を潜在変数としてモデル化し、その事前および後続分布を共有MLLMの別個の推論モードとしてインスタンス化するフレームワークである。 前者の条件は入力にのみ依存するが、後部の条件は推論探索を導くために追加の訓練時間関係証拠を使用する。 提案手法は,提案手法の広範な検討を推論時間の改善に変換するため,重要重み付けされた変動目標を導出し,その実用性や到達性に応じて後部軌道を前へ選択的に転送しながら,共進化の両モードを共有推論互換の報酬の下で改善する,事前後部共進化フレームワークとしてインスタンス化する。 78タスクのMMEB-V2ベンチマークでは、PILOTは2Bパラメータと7Bパラメータの両方で12のタスクグループで一次ベースラインを上回り、総合スコアは3.2ポイントと3.3ポイント向上し、視覚文書検索(+6.1ポイントと+6.4ポイント)で最大の利益を得ている。 この結果から, 関係性監視はポストホック報酬ではなく, 推論モデルの学習において, 推論がどのように探索されるかを示すシグナルとして有用であることが示唆された。

関連論文リスト

• ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
  我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。 多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。 LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
  論文  参考訳（メタデータ） (2026-10-13T13:38:02Z)
• VaME: Exploring Variational Latent Reasoning for Multimodal Embeddings [23.326765882364153]
  VaME(Variational Multimodal Embeddings)は、遅延推論を軌道上の学習可能な分布としてモデル化するフレームワークである。 78タスクのMMEB-V2ベンチマークでは、VaMEは最も明示的なCoTベースのモデルとすべての潜伏するベースラインを上回っている。 VaMEは、決定論的潜在自己回帰ベースラインよりも少なくとも4.25倍の速度でこれらのゲインを達成する。
  論文  参考訳（メタデータ） (2026-09-27T09:31:09Z)
• Reason What Matters: Retrieval-Grounded Reasoning for Universal Multimodal Embeddings [18.705254311226565]
  Retrieval-Aware Self-Distillation (RASD) は、入力支援された証拠から特権化されたガイダンスを構築し、正の項目を検索された強陰性と区別する。 検索適応推論(RAI)は、部分CoTの残りの検索ユーティリティを推定するために、検索信頼ヘッドを使用する。 ReWAMは、競合する明示的CoT UME法の推論スループットを最大5倍にし、最先端の検索性能を実現する。
  論文  参考訳（メタデータ） (2026-09-14T09:48:05Z)
• Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry [105.89493240787861]
  推論中に露出したセマンティックユニットは、学習が代替品と比較し、クレジットを割り当てる場所を定義する。 我々は,この原理を,ライン順応可能な実行可能コードとして視覚的関係を表すCode-CoTでインスタンス化し,推論を型付きイベントに整理する。 9つの幾何ベンチマークで、CE-GRPOは平均76.04の精度を達成し、Qwen3-VL-8Bと軌跡レベルGRPOをそれぞれ8.09$と3.43ポイント上回る。
  論文  参考訳（メタデータ） (2026-08-31T08:44:36Z)
• AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution [61.593935260052795]
  Supervised Fine-Tuning (SFT) とReinforcement Learning (RL) による後学習は多モーダル大規模言語モデル(MLLM)における推論の強化に不可欠である 既存のパラダイムは、静的データの制限により、しばしばパフォーマンスのボトルネックに達する。 我々は,真理に順応したデータキュレーションとモデル進化を統合する新しいパラダイムであるアンカー進化(AnE)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:26:34Z)
• Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
  基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。 空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。 LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2026-03-18T15:28:07Z)
• CASHEW: Stabilizing Multimodal Reasoning via Iterative Trajectory Aggregation [6.356820150960838]
  視覚言語モデルを安定させるために,テスト時間スケーリングにインスパイアされた2つの補完的アプローチを導入する。 CASHEWは推論時のフレームワークで、複数の候補軌道を高品質な推論トレースに反復的に集約することで推論を安定化する。 CASHEW-RL はグループシーケンスポリシー最適化 (GSPO) を用いて訓練されており、最小でも十分な視覚的証拠に根ざした正しい回答を促す複合報酬が提供されている。
  論文  参考訳（メタデータ） (2026-01-12T21:24:45Z)
• Reason to Contrast: A Cascaded Multimodal Retrieval Framework [60.99421225506685]
  ハイブリッドマルチモーダル検索フレームワークであるTTE-v2では、モデルや埋め込みサイズではなく、追加の入力トークン予算に基づく推論駆動のパフォーマンススケーリングが導入されている。 提案手法は,初期マルチモーダル検索をさらに強化し,テスト時により表現力の高いクエリ・候補間相互作用を可能にする。 MMEB-V2ベンチマークの実験では、TTE-v2-7Bは75.7%の新しい最先端の精度を実現し、TTE-v2-2Bは、かなり大きな外部データで訓練された7Bモデルと一致または上回った。
  論文  参考訳（メタデータ） (2025-12-21T04:52:48Z)
• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Unified Multimodal Chain-of-Thought Reward Model through Reinforcement Fine-Tuning [31.727984223052648]
  本稿では,最初の統一マルチモーダルCoT型報酬モデルUnifiedReward-Thinkを提案する。 まず、GPT-4oの推論過程を抽出するために、少量の画像生成嗜好データを用いる。 次に、大規模に統一されたマルチモーダル嗜好データを作成し、様々な視覚タスクにわたってモデルの推論プロセスを導出する。
  論文  参考訳（メタデータ） (2025-05-06T08:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。