論文の概要: How Do LLMs and VLMs Understand Viewpoint Rotation Without Vision? An Interpretability Study

• arxiv url: http://arxiv.org/abs/2604.15294v1
• Date: Thu, 16 Apr 2026 17:55:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:32.042329
• Title: How Do LLMs and VLMs Understand Viewpoint Rotation Without Vision? An Interpretability Study
• Title（参考訳）: LLMとVLMは視界のない視点回転をどう理解するか? : 解釈可能性の検討
• Authors: Zhen Yang, Ping Jian, Zhongbin Guo, Zuming Zhang, Chengzhi Li, Yonghong Deng, Xinyue Zhang, Wenpeng Lu,
• Abstract要約: 言語的視点から見た空間情報の基本的・重要な能力に焦点をあてる:視点回転理解(VRU) LLMとVLMはどちらも提案したデータセットでは性能が悪く,人間は100%の精度で容易に達成できることがわかった。 その結果, モデルが隠れ状態の視点情報をエンコードしているにもかかわらず, 視線位置と対応する観測値との結合に苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 17.830219852925715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past year, spatial intelligence has drawn increasing attention. Many prior works study it from the perspective of visual-spatial intelligence, where models have access to visuospatial information from visual inputs. However, in the absence of visual information, whether linguistic intelligence alone is sufficient to endow models with spatial intelligence, and how models perform relevant tasks with text-only inputs still remain unexplored. Therefore, in this paper, we focus on a fundamental and critical capability in spatial intelligence from a linguistic perspective: viewpoint rotation understanding (VRU). Specifically, LLMs and VLMs are asked to infer their final viewpoint and predict the corresponding observation in an environment given textual description of viewpoint rotation and observation over multiple steps. We find that both LLMs and VLMs perform poorly on our proposed dataset while human can easily achieve 100% accuracy, indicating a substantial gap between current model capabilities and the requirements of spatial intelligence. To uncover the underlying mechanisms, we conduct a layer-wise probing analysis and head-wise causal intervention. Our findings reveal that although models encode viewpoint information in the hidden states, they appear to struggle to bind the viewpoint position with corresponding observation, resulting in a hallucination in final layers. Finally, we selectively fine-tune the key attention heads identified by causal intervention to improve VRU performance. Experimental results demonstrate that such selective fine-tuning achieves improved VRU performance while avoiding catastrophic forgetting of generic abilities. Our dataset and code will be released at https://github.com/Young-Zhen/VRU_Interpret .
• Abstract（参考訳）: 過去1年間、空間知能は注目度を高めてきた。 多くの先行研究は視覚空間知性の観点から研究しており、モデルが視覚入力から視覚空間情報にアクセスすることができる。 しかし、視覚情報がない場合、言語知性だけで空間知性を持つモデルを実現するのに十分であるかどうか、また、テキストのみの入力でモデルがどのように関連するタスクを実行するかは、まだ未解明のままである。 そこで本稿では,言語の観点からの空間知能の基本的かつ重要な機能である視点回転理解(VRU)に着目した。 具体的には,LLMとVLMは,複数の段階にわたる視点回転と観察のテキスト記述が与えられた環境において,最終的な視点を推測し,対応する観測を予測するよう求められている。 LLMとVLMはどちらも提案したデータセットでは性能が悪く、人間は100%の精度を容易に達成でき、現在のモデル能力と空間知能の要求との間には大きなギャップがあることが分かる。 基礎となるメカニズムを明らかにするために,階層的探索分析と頭部的因果介入を行う。 その結果,隠れ状態の視点情報をモデルでエンコードしたものの,視線位置と対応する観測値との結合に苦慮していることが明らかとなり,最終層に幻覚が生じた。 最後に,VRUの性能向上のために,因果的介入によって同定された重要な注意点を選択的に微調整する。 実験により, 汎用能力の破滅的な忘れ込みを回避しつつ, 優れたVRU性能が得られることが示された。 私たちのデータセットとコードはhttps://github.com/Young-Zhen/VRU_Interpret でリリースされます。

関連論文リスト

• Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens [54.18057944158818]
  Chain-of-Visual-Thought (COVT)は、ビジョンランゲージモデル(VLM)が連続的な視覚トークンを通じて推論できるようにするフレームワークである。 約20枚のトークンからなる小さな予算の中で、COVTは軽量ビジョンの専門家から知識を抽出する。 トレーニング中、COVTを持つVLMは視覚トークンを自動回帰予測し、密集した監視信号を再構築する。
  論文  参考訳（メタデータ） (2025-11-24T18:55:19Z)
• How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective [103.44502230776352]
  視覚言語モデル(VLM)における視覚空間推論(VSR)の系統的研究について述べる。 空間インテリジェンスを3つのレベル,すなわち基本的な知覚,空間理解,空間計画,および空間インテリジェンスベンチマークSIBenchに分類した。
  論文  参考訳（メタデータ） (2025-09-23T12:00:14Z)
• ViewSpatial-Bench: Evaluating Multi-perspective Spatial Localization in Vision-Language Models [68.46716645478661]
  視覚言語モデル (VLM) は視覚的内容の理解と推論において顕著な能力を示した。 現在のVLMは、主に自我中心の空間的推論(カメラの観点から)に優れるが、同中心の視点に一般化することができない。 マルチ視点空間位置認識評価に特化して設計された,初の総合的なベンチマークであるViewSpatial-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:26Z)
• Caption This, Reason That: VLMs Caught in the Middle [3.4820139118440676]
  VLM(Vision-Language Models)は近年,視覚的理解の進歩を目覚ましいものにしている。 カウントやリレーショナル推論といった視覚的なタスクでは、人間の能力が遅れている。 認識,注意,記憶など,コア認知軸に沿ったVLMのパフォーマンスを解析する。
  論文  参考訳（メタデータ） (2025-05-24T14:25:48Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• Beyond Semantics: Rediscovering Spatial Awareness in Vision-Language Models [13.768090541138571]
  視覚言語モデル(VLM)はオブジェクトの識別と記述に優れるが、しばしば空間的推論では失敗する。 視覚トークンの埋め込みは、テキストトークンよりもはるかに大きな規範を持っている。 視覚トークンとシステムが注目を惹きつけることを明らかにするツール。
  論文  参考訳（メタデータ） (2025-03-21T17:51:14Z)
• Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
  機械的解釈可能性のレンズによる空間的推論の課題について検討する。 空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。 本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
  論文  参考訳（メタデータ） (2025-03-03T17:57:03Z)
• Beyond Sight: Towards Cognitive Alignment in LVLM via Enriched Visual Knowledge [24.538839144639653]
  LVLM(Large Vision-Language Models)は、学習済みのビジョンと言語コンポーネントを個別に統合する。 これらのモデルはしばしば、視覚エンコーダ(VE)と大言語モデル(LLM)の「認知的不整合」の中核的な問題に遭遇する。
  論文  参考訳（メタデータ） (2024-11-25T18:33:14Z)
• VSP: Assessing the dual challenges of perception and reasoning in spatial planning tasks for VLMs [102.36953558562436]
  視覚言語モデル(VLM)は、エキサイティングな言語モデル(LM)のクラスである。 VLMの未調査能力の1つは、視覚空間計画である。 本研究は,これらのモデルにおける空間計画能力を概ね評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-07-02T00:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。