論文の概要: Latent-Aligned Reasoning for Multimodal Recommendation
- arxiv url: http://arxiv.org/abs/2609.04645v1
- Date: Fri, 04 Sep 2026 02:24:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.878812
- Title: Latent-Aligned Reasoning for Multimodal Recommendation
- Title(参考訳): マルチモーダルレコメンデーションのための潜在アライメント
- Abstract要約: 1つのVLM内に相補的なアライメント機構を持つ2段階の潜在推論フレームワークであるLARKを提案する。
最初の段階では、学習可能な潜在トークンは多段階の連鎖推論でインターリーブされる。
第2段階では、潜在表現はブリッジを介して投影され、アイテム対イテムの対照的な学習で訓練される。
- 参考スコア(独自算出の注目度): 4.868819130885598
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Multimodal Vision-Language Models (VLMs) have demonstrated remarkable capabilities in cross-modal understanding, yet a fundamental challenge persists when applying them to recommendation: as representations propagate through multi-step reasoning, both visual and textual signals progressively attenuate - a phenomenon we term cross-modal dilution. To address this, we propose LARK (Latent-Aligned Reasoning frameworK), a two-stage latent reasoning framework with complementary alignment mechanisms within a single VLM. In the first stage, learnable latent tokens are interleaved with multi-step chain-of-thought (CoT) reasoning and explicitly aligned with a frozen vision encoder, serving as visual checkpoints that preserve perceptual details throughout the reasoning chain. In the second stage, the latent representations are projected via a bridge MLP and trained with item-to-item contrastive learning; to prevent the reasoning semantics from fading, intermediate features are aligned with the CoT hidden states from the first stage, anchoring the final embeddings to the model's own reasoning output. Experiments on three public benchmarks and one industrial dataset show that LARK achieves state-of-the-art performance across multiple recommendation architectures, with controlled ablations confirming the distinct contribution of each component.
- Abstract(参考訳): VLM(Multimodal Vision-Language Models)は、クロスモーダル理解において顕著な能力を示すが、それを推奨に適用する際には、基本的な課題が残る: 多段階推論を通じて表現が伝播するにつれて、視覚信号とテキスト信号の両方が徐々に減衰する - クロスモーダル希釈(cross-modal dilution)と呼ぶ現象である。
そこで本研究では,一つのVLM内に相補的なアライメント機構を持つ2段階の潜在推論フレームワークであるLARK(Latent-Aligned Reasoning frameworK)を提案する。
最初の段階では、学習可能な潜在トークンは多段階のチェーン・オブ・シークレット(CoT)推論でインターリーブされ、凍結した視覚エンコーダに明示的に整列され、推論チェーン全体を通して知覚的詳細を保存する視覚的チェックポイントとして機能する。
第2段階では、潜伏表現はブリッジMLPを介して投影され、アイテム間コントラスト学習で訓練される。推論セマンティクスが消えるのを防ぐため、中間特徴は第1段階からCoT隠れ状態と整列し、最終的な埋め込みをモデル自身の推論出力に固定する。
3つの公開ベンチマークと1つの産業データセットの実験は、LARKが複数のレコメンデーションアーキテクチャで最先端のパフォーマンスを達成することを示している。
関連論文リスト
- OPLD: On-Policy Latent Distillation for Multimodal Reasoning [27.842942669819948]
マルチモーダル・チェーン・オブ・リーブド(CoT)は、補助的な視覚的証拠を中間的推論に組み込むことで視覚的推論を改善する。
既存のアプローチは、外部で定義された推論トレースと視覚操作によって制約される。
本稿では,特権付きマルチモーダルCoTによって引き起こされる推論能力を潜在的推論表現に伝達するフレームワークOPLDを提案する。
論文 参考訳(メタデータ) (2026-07-30T12:57:45Z) - Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model [73.59026525350808]
2つのモードからの視覚的および意味的な監視信号を協調的に最適化する二重対向微調整フレームワークを提案する。
本手法は, ゼロショット分類, 画像キャプション, 視覚的質問応答タスクにおいて, 対向ロバスト性評価における最先端手法よりも優れている。
論文 参考訳(メタデータ) (2026-07-21T10:49:29Z) - Self-Prophetic Decoding to Unlock Visual Search in LVLMs [108.77389957341586]
LVLM(Large Vision-Language Models)は、真のマルチモーダル推論に向けて急速に進化している。
LVLMビジュアルサーチは、訓練後の本質的能力の非互換性と、長い多段階推論コンテキストにおける干渉の2つの主要な課題に直面している。
固有単一ステップ機能を活用してコヒーレントな多ステップ推論を可能にする自己プロヒーレントデコーディングフレームワークであるSeProDを紹介する。
論文 参考訳(メタデータ) (2026-05-27T17:01:39Z) - Semantic-Enriched Latent Visual Reasoning [28.31469233212317]
マルチモーダル潜在空間推論は、視覚的推論を直接コンパクトな潜在空間で行うことにより、画像による明示的思考を置き換えることを目的としている。
既存のアプローチは視覚的監督に大きく依存しており、十分な意味的豊かさを欠いた潜在表現を生成する。
本稿では2段階の学習フレームワークであるセマンティック・エンリッチレイト・ビジュアル・リソン(SLVR)について紹介する。
論文 参考訳(メタデータ) (2026-05-19T04:29:33Z) - Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。
我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。
帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
論文 参考訳(メタデータ) (2026-05-04T09:18:19Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-07T02:05:12Z) - CrystaL: Spontaneous Emergence of Visual Latents in MLLMs [55.34169914483764]
CrystaL(Crystallized Latent Reasoning)は,静止画像と劣化画像を処理するための2つの経路を持つ単一ステージフレームワークである。
CrystaLは2つの経路にまたがる注意パターンと予測分布を明確に調整することで、潜在表現をタスク関連視覚意味論に結晶化する。
知覚集約ベンチマークの実験では、CrystaLは最先端のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-02-24T15:01:30Z) - Reasoning in the Dark: Interleaved Vision-Text Reasoning in Latent Space [66.76138204796497]
マルチモーダル推論は、最終回答に到達する前に中間推論ステップを組み込むことでMLLMの能力を高めることを目的としている。
本稿では,視覚情報とテキスト情報の両方を潜在空間内の推論プロセスに注入するInterleaved Vision-Text Latent Reasoning (IVT-LR)を提案する。
M3CoTとScienceQAの実験により、我々のIVT-LR法は5.45%の精度で平均的な性能向上を実現し、同時に既存の手法に比べて5倍以上の速度向上を実現した。
論文 参考訳(メタデータ) (2025-10-14T14:58:25Z) - CoFFT: Chain of Foresight-Focus Thought for Visual Language Models [61.34272727005052]
フォレスト・フォーカス思考の連鎖(英語: Chain of Foresight-Focus Thought, CoFFT)は、人間の視覚的認知をエミュレートすることによって視覚的推論を強化する訓練のないアプローチである。
これらの段階は反復的に機能し、推論が視覚的焦点を導き、視覚的焦点がその後の推論を知らせる相互依存サイクルを生成する。
Qwen2.5-VL、InternVL-2.5、Llava-Nextを使った複数のベンチマークでの実証結果では、3.1-5.8%が一貫したパフォーマンス向上を示し、計算オーバーヘッドは増大した。
論文 参考訳(メタデータ) (2025-09-26T07:46:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。