論文の概要: UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs
- arxiv url: http://arxiv.org/abs/2605.11856v1
- Date: Tue, 12 May 2026 09:40:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.762037
- Title: UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs
- Title(参考訳): UniVLR:マルチモーダルLLMのための視覚遅延推論におけるテキストとビジョンの統合
- Authors: Houcheng Jiang, Jiajun Fu, Junfeng Fang, Chen Gao, Xiang Wang, Xiangnan He, Yong Li,
- Abstract要約: テキスト推論と補助的視覚証拠を共有視覚ワークスペースとして扱う統合視覚潜在推論フレームワークを提案する。
我々は,UniVLRが生成した推論トークンをはるかに少なく使用しながら,従来の視覚的潜在推論手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 36.74593429466411
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models are increasingly expected to perform thinking with images, yet existing visual latent reasoning methods still rely on explicit textual chain-of-thought interleaved with visual latent tokens. This interleaved design limits efficiency and keeps reasoning fragmented across separate text and vision channels. We propose UniVLR, a unified visual latent reasoning framework that treats textual reasoning and auxiliary visual evidence as a shared visual workspace. Instead of preserving text CoT as an independent inference-time path, UniVLR renders reasoning traces together with auxiliary images and learns to compress this unified representation into compact visual latent tokens. At inference time, the model reasons only through visual latents and directly decodes the final answer, avoiding both external tool calls and verbose text reasoning. Experiments on real-world perception and visual reasoning tasks show that UniVLR outperforms prior visual latent reasoning methods while using substantially fewer generated reasoning tokens, suggesting a more unified and efficient paradigm for visual thinking in MLLMs.
- Abstract(参考訳): マルチモーダルな大規模言語モデルは画像で考えることがますます期待されているが、既存の視覚的潜在推論手法は、まだ視覚的潜在トークンをインターリーブした明示的なテキスト・チェーン・オブ・シークレットに依存している。
このインターリーブされた設計は効率を制限し、別々のテキストとビジョンチャネルにまたがって推論を断片化し続ける。
テキスト推論と補助視覚証拠を共有視覚ワークスペースとして扱う統合視覚潜在推論フレームワークUniVLRを提案する。
テキストCoTを独立した推論時パスとして保存する代わりに、UniVLRは補助画像とともに推論トレースを描画し、この統一された表現をコンパクトな視覚潜在トークンに圧縮することを学ぶ。
推論時には、モデルが原因は視覚的な潜伏者のみであり、外部ツール呼び出しと冗長なテキスト推論の両方を避けることで最終回答を直接デコードする。
実世界の知覚と視覚的推論タスクの実験では、UniVLRはより少ない生成された推論トークンを使用しながら、従来の視覚的潜在推論手法よりも優れており、MLLMにおける視覚的思考のより統一的で効率的なパラダイムが示唆されている。
関連論文リスト
- LanteRn: Latent Visual Structured Reasoning [7.141402207573525]
本稿では,視覚的推論を潜在空間で直接実行可能にするフレームワークであるLanteRnを紹介する。
LanteRnは、推論中に連続的な視覚的思考の埋め込みを生成し、参加する能力を持つ視覚言語変換器を増強する。
我々はLanteRnを3つの知覚中心ベンチマーク(VisCoT, V*, Blink)で評価する。
論文 参考訳(メタデータ) (2026-03-26T16:41:59Z) - Sketch-in-Latents: Eliciting Unified Reasoning in MLLMs [53.57402214935238]
Sketch-in-Latentsは、統一マルチモーダル推論のための新しいパラダイムである。
連続的な視覚的な埋め込みを生成し、視覚的な思考として潜在スケッチトークンと呼ばれる。
視覚中心のタスクにおいて優れた性能を発揮し、多様な汎用マルチモーダルベンチマークへの強力な一般化を示す。
論文 参考訳(メタデータ) (2025-12-18T14:29:41Z) - Monet: Reasoning in Latent Visual Space Beyond Images and Language [55.424507246294326]
視覚的推論を推し進める上で有効なパラダイムとして「画像で考える」が登場している。
既存の方法は、人間のような抽象的な視覚的思考に欠ける。
Monetは、マルチモーダルな大規模言語モデルを潜在視覚空間内で直接推論できるトレーニングフレームワークである。
論文 参考訳(メタデータ) (2025-11-26T13:46:39Z) - Self-Rewarding Vision-Language Model via Reasoning Decomposition [49.784411666601905]
VLM(Vision-Language Models)はしばしば視覚幻覚に悩まされ、実際に画像にないものや言語ショートカットが語られる。
本稿では,外部視覚監督に頼らずに視覚推論を改善する自己回帰手法であるVision-SR1を紹介する。
我々の実験は、Vision-SR1が視覚的推論を改善し、視覚幻覚を緩和し、言語ショートカットへの依存を減らすことを示した。
論文 参考訳(メタデータ) (2025-08-27T08:01:03Z) - Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。
実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文 参考訳(メタデータ) (2025-01-08T18:31:16Z) - See, Think, Confirm: Interactive Prompting Between Vision and Language
Models for Knowledge-based Visual Reasoning [60.43585179885355]
本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。
IPVRには3つのステージがある。
我々は,知識に基づく視覚的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-01-12T18:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。