論文の概要: Latent Visual Reasoning

• arxiv url: http://arxiv.org/abs/2509.24251v1
• Date: Mon, 29 Sep 2025 03:52:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.730413
• Title: Latent Visual Reasoning
• Title（参考訳）: Latent Visual Reasoning
• Authors: Bangzheng Li, Ximeng Sun, Jiang Liu, Ze Wang, Jialian Wu, Xiaodong Yu, Hao Chen, Emad Barsoum, Muhao Chen, Zicheng Liu,
• Abstract要約: 視覚埋め込み空間に直接自己回帰推論を可能にする新しいパラダイムであるLatent Visual Reasoning(LVR)を紹介する。 その結果,LVRは細粒度視認と知覚を著しく改善し,MMVPでは71.67%,Qwen2.5-VLでは66.67%であった。
• 参考スコア（独自算出の注目度）: 40.347006722601975
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved notable gains in various tasks by incorporating Chain-of-Thought (CoT) reasoning in language spaces. Recent work extends this direction by leveraging external tools for visual editing, thereby enhancing the visual signal along the reasoning trajectories. Nevertheless, these approaches remain fundamentally constrained: reasoning is still confined to the language space, with visual information treated as static preconditions. We introduce Latent Visual Reasoning (LVR), a new paradigm that enables autoregressive reasoning directly in the visual embedding space. A visual encoder first projects images into visual tokens within a joint semantic space shared with the language model. The language model is then trained to generate latent states that reconstruct key visual tokens critical for answering the query, constituting the process of latent visual reasoning. By interleaving LVR with standard text generation, our model achieves substantial gains on perception-intensive visual question answering tasks. In addition, we adapt the GRPO algorithm to conduct reinforcement learning on latent reasoning, further balancing LVR and textual generation. We show that LVR substantially improves fine-grained visual understanding and perception, achieving 71.67% on MMVP compared to 66.67% with Qwen2.5-VL. Code base and model weights will be released later.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、言語空間にChain-of-Thought(CoT)推論を組み込むことによって、様々なタスクにおいて顕著な成果を上げている。 最近の研究は、視覚編集のための外部ツールを活用して、推論軌道に沿った視覚信号を強化することで、この方向を拡張している。 推論は言語空間に限られており、視覚情報は静的な前提条件として扱われる。 視覚埋め込み空間に直接自己回帰推論を可能にする新しいパラダイムであるLatent Visual Reasoning(LVR)を紹介する。 視覚エンコーダはまず、言語モデルと共有される共同意味空間内の視覚トークンに画像を投影する。 言語モデルは、クエリに応答するために重要な重要な視覚トークンを再構築し、潜伏した視覚的推論のプロセスを構成する潜伏状態を生成するように訓練される。 標準的なテキスト生成とLVRをインターリーブすることにより,認識集約型視覚質問応答タスクにおいて,本モデルが大幅に向上する。 さらに、GRPOアルゴリズムを潜在推論の強化学習に適応させ、LVRとテキスト生成のバランスをさらに高める。 その結果,LVRは細粒度視認と知覚を著しく改善し,MMVPでは71.67%,Qwen2.5-VLでは66.67%であった。 コードベースとモデルウェイトは後日リリースされる予定だ。

関連論文リスト

• Self-Rewarding Vision-Language Model via Reasoning Decomposition [49.784411666601905]
  VLM(Vision-Language Models)はしばしば視覚幻覚に悩まされ、実際に画像にないものや言語ショートカットが語られる。 本稿では,外部視覚監督に頼らずに視覚推論を改善する自己回帰手法であるVision-SR1を紹介する。 我々の実験は、Vision-SR1が視覚的推論を改善し、視覚幻覚を緩和し、言語ショートカットへの依存を減らすことを示した。
  論文  参考訳（メタデータ） (2025-08-27T08:01:03Z)
• FiVL: A Framework for Improved Vision-Language Alignment through the Lens of Training, Evaluation and Explainability [10.184567639685321]
  本稿では,LVLMを学習するための新しいデータセット構築手法であるFiVLを紹介する。 本稿では,モデルがイメージを実体的証拠として用いる能力を評価するためのベンチマークを示す。 視覚による幻覚を説明できる最強の視覚言語アライメントで注目頭を特定する。
  論文  参考訳（メタデータ） (2024-12-19T09:24:10Z)
• ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling [35.098725056881655]
  大型視覚言語モデル(LVLM)は前例のない視覚推論能力を示している。 生成されたテキストは、しばしば視覚入力の不正確な接地に悩まされ、既存のシーン要素の幻覚などのエラーが発生する。 そこで我々は,LVLMの視覚的接地性を高めるために,微粒な報酬モデルを用いた新しいフレームワークViGoRを提案する。
  論文  参考訳（メタデータ） (2024-02-09T01:00:14Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• See, Think, Confirm: Interactive Prompting Between Vision and Language Models for Knowledge-based Visual Reasoning [60.43585179885355]
  本稿では,知識に基づく視覚推論のための新しいフレームワークであるInteractive Prompting Visual Reasoner(IPVR)を提案する。 IPVRには3つのステージがある。 我々は,知識に基づく視覚的推論データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-01-12T18:59:50Z)
• DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention [101.99313208598569]
  視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。 視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。 DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2022-10-28T23:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。