論文の概要: Limits of Imagery Reasoning in Frontier LLM Models

• arxiv url: http://arxiv.org/abs/2603.26779v1
• Date: Wed, 25 Mar 2026 01:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.59966
• Title: Limits of Imagery Reasoning in Frontier LLM Models
• Title（参考訳）: 最前線LLMモデルにおける画像推論の限界
• Abstract要約: 大きな言語モデル(LLM)は印象的な推論機能を示している。 しかし、彼らは精神的な回転のような精神的シミュレーションを必要とする空間的なタスクに苦しむ。 本稿では,LLMに外部画像モジュールを装備することで,このギャップを埋めることができるか検討する。
• 参考スコア（独自算出の注目度）: 0.7243632426715938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, yet they struggle with spatial tasks that require mental simulation, such as mental rotation. This paper investigates whether equipping an LLM with an external ``Imagery Module'' -- a tool capable of rendering and rotating 3D models -- can bridge this gap, functioning as a ``cognitive prosthetic.'' We conducted experiments using a dual-module architecture in which a reasoning module (an MLLM) interacts with an imagery module on 3D model rotation tasks. Performance was lower than expected, with accuracy reaching at most 62.5%. Further investigation suggests that even when the burden of maintaining and manipulating a holistic 3D state is outsourced, the system still fails. This reveals that current frontier models lack the foundational visual-spatial primitives required to interface with imagery. Specifically, they lack: (1) the low-level sensitivity to extract spatial signals such as (a) depth, (b) motion, and (c) short-horizon dynamic prediction; and (2) the capacity to reason contemplatively over images, dynamically shifting visual focus and balancing imagery with symbolic and associative information.
• Abstract（参考訳）: 大きな言語モデル(LLM)は印象的な推論能力を示してきたが、精神的な回転のような精神的シミュレーションを必要とする空間的タスクに苦戦している。 本稿では,3次元モデルのレンダリングと回転が可能なツールである 'Imagery Module'' をLCMに組み込むことで,このギャップを埋めることができ,「認知的補綴物」として機能するかどうかを考察する。 そこで我々は,3次元モデル回転タスクにおいて,推論モジュール(MLLM)が画像モジュールと相互作用するデュアルモジュールアーキテクチャを用いて実験を行った。 性能は予想より低く、精度は62.5%に達した。 さらなる調査は、総合的な3D状態の維持と操作の負担がアウトソースされたとしても、システムはまだ失敗していることを示唆している。 これは、現在のフロンティアモデルには、画像とのインターフェイスに必要な基本的な視覚空間プリミティブが欠けていることを示している。 1)空間信号の抽出のための低レベル感度 (a) 深さ。 (b)動作,及び (c)短期水平的動的予測,(2)視覚的焦点を動的にシフトさせ,画像と記号的・連想的情報とのバランスをとることによって,イメージを理論的に判断する能力。

関連論文リスト

• SpatialSV: Internalizing Interpretable 3D Spatial Awareness in MLLMs via Task-Oriented Visual Supervision [12.336413790708738]
  大規模言語モデル(MLLM)の空間知能は,3次元世界を理解する上で重要である。 本研究では,MLLMの内部で頑健な3次元空間認識を実現するためのフレームワークであるSpatialSVを提案する。
  論文  参考訳（メタデータ） (2026-06-18T08:09:32Z)
• Enhancing MLLM Spatial Understanding via Active 3D Scene Exploration for Multi-Perspective Reasoning [10.542346290671114]
  明示的な3次元再構成を基礎としたビジュアル・チェーン・オブ・ソート・メカニズムを導入したテクスティングフリーなフレームワークを提案する。 このフレームワークは、3DSRBenchやRel3Dといった主要なベンチマークにおいて、特別な空間モデルや汎用MLLMよりも優れている。
  論文  参考訳（メタデータ） (2026-04-08T06:47:55Z)
• pySpatial: Generating 3D Visual Programs for Zero-Shot Spatial Reasoning [18.697914587954163]
  pySpatialは、MLLMと空間ツールとのインタフェースを備えたビジュアルプログラミングフレームワークである。 pySpatialは生の2D入力を探索可能な3Dシーンに変換し、MLLMが構造化された空間表現に対して明示的に推論することを可能にする。
  論文  参考訳（メタデータ） (2026-03-01T03:55:49Z)
• Beyond Flatlands: Unlocking Spatial Intelligence by Decoupling 3D Reasoning from Numerical Regression [12.590536117486257]
  既存の視覚言語モデル(VLM)は、現実世界の空間知能を理解するのに苦労している。 GEODEは2つの特別なプラグアンドプレイモジュールでメインVLMを拡張している。 これらのモジュールの相乗効果により、1.5Bパラメータモデルは高レベルのセマンティックディスパッチとして機能します。
  論文  参考訳（メタデータ） (2025-11-14T12:42:07Z)
• Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
  本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。 提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-07-01T04:05:47Z)
• Unfolding Spatial Cognition: Evaluating Multimodal Models on Visual Simulations [61.235500325327585]
  既存のAIベンチマークは、主に言語推論を評価し、非言語的で多段階の視覚シミュレーションの複雑さを無視している。 STAREは,マルチモーダルな大規模言語モデルを視覚シミュレーションによりよりよく解いたタスクで厳格に評価するためのベンチマークである。 評価の結果,より単純な2次元変換よりもモデルの方が優れているが,より複雑なタスクにおいてランダムに近い確率で実行可能であることがわかった。
  論文  参考訳（メタデータ） (2025-06-05T05:09:46Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• REVISION: Rendering Tools Enable Spatial Fidelity in Vision-Language Models [67.55362046790512]
  視覚言語モデルには、空間的関係を正しく推論する能力がない。 視覚言語モデルにおける空間忠実度を改善するREVISIONフレームワークを開発した。 本研究の結果から,レンダリングベースのフレームワークは空間認識モデルの開発に有効な手法であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-05T04:51:46Z)
• Brain3D: Generating 3D Objects from fMRI [78.46936519561298]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。