論文の概要: Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models

• arxiv url: http://arxiv.org/abs/2606.03988v1
• Date: Tue, 02 Jun 2026 17:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.246541
• Title: Imaginative Perception Tokens Enhance Spatial Reasoning in Multimodal Language Models
• Title（参考訳）: マルチモーダル言語モデルにおける同種知覚の空間的推論の促進
• Authors: Mahtab Bigverdi, Lindsey Li, Weikai Huang, Yiming Liu, Jaemin Cho, Jieyu Zhang, Tuhin Kundu, Chris Dangjoo Kim, Zelun Luo, Linda Shapiro, Ranjay Krishna,
• Abstract要約: 視覚言語モデル(VLM)は多くのタスクで優れるが、重要な情報が直接観測できない場合、空間的推論に苦慮する。 Inaginative Perception Tokens (IPT) は、VLMが知覚する空間構成を外部化する中間的知覚表現である。 IPTの監督は、空間的推論を一貫して改善し、しばしば思考訓練のテキスト連鎖よりも優れる。
• 参考スコア（独自算出の注目度）: 41.392463441322235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision language models (VLMs) excel at many tasks but still struggle with spatial reasoning when critical information is not directly observable. Many such problems require imaginative perception: inferring what would be seen from an unseen viewpoint, tracing paths through occluded spaces, or integrating partial observations into a coherent spatial representation. We introduce Imaginative Perception Tokens (IPT), intermediate perceptual representations that externalize what a VLM would perceive under alternative spatial configurations while remaining consistent with the observed input. To study this capability, we formulate three tasks, Perspective Taking (PET), Path Tracing (PT), and Multiview Counting (MVC), and construct datasets of approximately 20K examples with ground truth imaginations, answers, and evaluation benchmarks. Using the unified VLM BAGEL as the backbone, IPT supervision consistently improves spatial reasoning and often outperforms textual chain of thought training, even without generating images at inference time. On MVC, IPT improves accuracy by 3.4% and achieves competitive performance with strong closed-source models on PT. We further find that combining IPT and label-only supervision yields additional gains, whereas textual chain of thought can substantially degrade performance, suggesting a modality mismatch when spatial computation is forced through language. Overall, IPT provides a principled supervision signal for reasoning about unobserved spatial structure, improving generalization while producing interpretable intermediate representations.
• Abstract（参考訳）: 視覚言語モデル(VLM)は多くのタスクで優れているが、重要な情報が直接観測できない場合、空間的推論に苦慮している。 そのような問題の多くは想像的知覚を必要とする: 目に見えない視点から何が見えるかの推測、隠された空間を通る経路の追跡、または部分的な観察をコヒーレントな空間表現に統合することである。 Inaginative Perception Tokens (IPT) は、VLMが観察された入力と整合性を維持しながら、代替空間構成の下で知覚するものを外部化する中間知覚表現である。 本研究は,3つの課題,PET,PT,Multiview Counting(MVC)を定式化し,基礎となる真理の想像力,回答,評価ベンチマークを備えた約20K例のデータセットを構築した。 統一されたVLM BAGELをバックボーンとして使用することにより、IPTの監督は空間的推論を一貫して改善し、推論時に画像を生成することなく、しばしば思考訓練のテキスト連鎖よりも優れる。 MVCでは、IMTは精度を3.4%改善し、PT上で強力なクローズドソースモデルと競合するパフォーマンスを実現している。 さらに、IPTとラベルのみの監視を組み合わせることで、追加の利得が得られるのに対し、テキストによる思考の連鎖は性能を著しく低下させ、空間計算が言語によって強制されるときのモダリティのミスマッチを示唆している。 全体として、IPTは、観測されていない空間構造を推論し、解釈可能な中間表現を生成しながら一般化を改善するための、原則化された監視信号を提供する。

関連論文リスト

• SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
  空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。 テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。 本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
  論文  参考訳（メタデータ） (2026-04-19T11:21:59Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens [54.18057944158818]
  Chain-of-Visual-Thought (COVT)は、ビジョンランゲージモデル(VLM)が連続的な視覚トークンを通じて推論できるようにするフレームワークである。 約20枚のトークンからなる小さな予算の中で、COVTは軽量ビジョンの専門家から知識を抽出する。 トレーニング中、COVTを持つVLMは視覚トークンを自動回帰予測し、密集した監視信号を再構築する。
  論文  参考訳（メタデータ） (2025-11-24T18:55:19Z)
• SpatialViz-Bench: An MLLM Benchmark for Spatial Visualization [44.427830927596204]
  SpaceViz-Benchは4つのサブ能力にまたがる12のタスクを持つ空間視覚化のための総合的なベンチマークである。 33種類の最先端MLLMを評価した結果,多彩な性能の変動がみられ,反直感的な結果が得られた。
  論文  参考訳（メタデータ） (2025-07-10T10:27:20Z)
• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。