論文の概要: Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens
- arxiv url: http://arxiv.org/abs/2506.17218v1
- Date: Fri, 20 Jun 2025 17:59:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-23 19:00:05.591751
- Title: Machine Mental Imagery: Empower Multimodal Reasoning with Latent Visual Tokens
- Title（参考訳）: マシンメンタルイメージ:潜入型視覚トークンを用いたマルチモーダル推論
- Authors: Zeyuan Yang, Xueyang Yu, Delin Chen, Maohao Shen, Chuang Gan,
- Abstract要約: 視覚言語モデル(VLM)は多モーダル理解において優れているが、テキストのみの復号化は視覚的推論の言語化を強いる。
最近の試みでは、VLMに明示的な画像をレンダリングするように訓練されているが、重い画像生成による事前学習は、しばしば推論能力を妨げている。
本稿では,VLMデコーディングを通常のテキストと並行して遅延視覚トークンで拡張する,Mirageと呼ばれるマシンメンタルイメージフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 44.19323180593379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) excel at multimodal understanding, yet their text-only decoding forces them to verbalize visual reasoning, limiting performance on tasks that demand visual imagination. Recent attempts train VLMs to render explicit images, but the heavy image-generation pre-training often hinders the reasoning ability. Inspired by the way humans reason with mental imagery-the internal construction and manipulation of visual cues-we investigate whether VLMs can reason through interleaved multimodal trajectories without producing explicit images. To this end, we present a Machine Mental Imagery framework, dubbed as Mirage, which augments VLM decoding with latent visual tokens alongside ordinary text. Concretely, whenever the model chooses to ``think visually'', it recasts its hidden states as next tokens, thereby continuing a multimodal trajectory without generating pixel-level images. Begin by supervising the latent tokens through distillation from ground-truth image embeddings, we then switch to text-only supervision to make the latent trajectory align tightly with the task objective. A subsequent reinforcement learning stage further enhances the multimodal reasoning capability. Experiments on diverse benchmarks demonstrate that Mirage unlocks stronger multimodal reasoning without explicit image generation.
- Abstract（参考訳）: 視覚言語モデル(VLM)はマルチモーダル理解において優れているが、テキストのみの復号化によって視覚的推論が言語化され、視覚的想像力を必要とするタスクのパフォーマンスが制限される。
最近の試みでは、VLMに明示的な画像をレンダリングするように訓練されているが、重い画像生成による事前学習は、しばしば推論能力を妨げている。
視覚的キューの内部構築と操作という,人間の心的イメージによる推論の仕方に触発された我々は,VLMが明示的なイメージを生成せずに,インターリーブされたマルチモーダル軌跡を通して推論できるかどうかを考察した。
この目的のために、Mirageと呼ばれるマシン・メンタル・イメージリー・フレームワークを紹介し、VLMデコーディングを通常のテキストと並行して遅延視覚トークンで拡張する。
具体的には、モデルが 'think visually'' を選択すると、その隠れた状態を次のトークンとして再キャストし、ピクセルレベルの画像を生成することなくマルチモーダルな軌跡を継続する。
地中画像埋め込みからの蒸留を通して潜伏トークンを監視することにより、潜伏軌跡をタスク目標と密に整合させるため、テキストのみの監督に切り替える。
その後の強化学習段階は、さらにマルチモーダル推論能力を高める。
多様なベンチマークの実験により、Mirageは明示的な画像生成なしにより強力なマルチモーダル推論を解放することを示した。
関連論文リスト
- Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。
実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文 参考訳（メタデータ） (2025-01-08T18:31:16Z) - Autonomous Imagination: Closed-Loop Decomposition of Visual-to-Textual Conversion in Visual Reasoning for Multimodal Large Language Models [27.78471707423076]
MLLM(Multimodal Large Language Models)は、一見単純な視覚的タスクに対処する。
これらのタスクは、視覚からテキストへの変換能力に挑戦する。
本稿では,MLLMが視覚入力を反復的に修正できるように,自律的想像力というアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-27T08:44:25Z) - TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。
モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。
このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
論文 参考訳（メタデータ） (2024-10-14T13:35:47Z) - Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。
結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。
この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
論文 参考訳（メタデータ） (2023-09-09T03:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。