論文の概要: Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces

• arxiv url: http://arxiv.org/abs/2412.14171v1
• Date: Wed, 18 Dec 2024 18:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:42.379886
• Title: Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces
• Title（参考訳）: 空間における思考:マルチモーダルな大言語モデルが空間をどう見たり、思い出したり、リコールするか
• Authors: Jihan Yang, Shusheng Yang, Anjali W. Gupta, Rilyn Han, Li Fei-Fei, Saining Xie,
• Abstract要約: 5000組以上の質問応答対からなるビデオベース視覚空間インテリジェンスベンチマーク(VSI-Bench)を提案する。 MLLM(Multimodal Large Language Models)は,非人間的な視覚空間知能を持つ。
• 参考スコア（独自算出の注目度）: 34.809309396448654
• License:
• Abstract: Humans possess the visual-spatial intelligence to remember spaces from sequential visual observations. However, can Multimodal Large Language Models (MLLMs) trained on million-scale video datasets also ``think in space'' from videos? We present a novel video-based visual-spatial intelligence benchmark (VSI-Bench) of over 5,000 question-answer pairs, and find that MLLMs exhibit competitive - though subhuman - visual-spatial intelligence. We probe models to express how they think in space both linguistically and visually and find that while spatial reasoning capabilities remain the primary bottleneck for MLLMs to reach higher benchmark performance, local world models and spatial awareness do emerge within these models. Notably, prevailing linguistic reasoning techniques (e.g., chain-of-thought, self-consistency, tree-of-thoughts) fail to improve performance, whereas explicitly generating cognitive maps during question-answering enhances MLLMs' spatial distance ability.
• Abstract（参考訳）: 人間は、連続した視覚観察から空間を記憶する視覚空間知能を持っている。 しかし、Multimodal Large Language Models (MLLMs)は、ビデオから「宇宙を考える」ために、百万規模のビデオデータセットでトレーニングできるだろうか? 5000組以上の質問応答対からなるビデオベースの視覚空間インテリジェンスベンチマーク(VSI-Bench)を提案する。 言語的にも視覚的にも、空間的推論能力は、MLLMがより高いベンチマーク性能に達するための主要なボトルネックであり続けるが、局所世界モデルと空間的認識はこれらのモデルの中に出現する。 特に、一般的な言語推論技術(例えば、チェーン・オブ・思想、自己整合性、思考木など)は性能向上に失敗し、質問応答中に認知地図を明示的に生成することでMLLMの空間距離能力が向上する。

関連論文リスト

• Does Spatial Cognition Emerge in Frontier Models? [56.47912101304053]
  本研究では,フロンティアモデルにおける空間認知を体系的に評価するベンチマークSPACEを提案する。 その結果、現代のフロンティアモデルは動物の空間知能に劣っていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T01:41:49Z)
• Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models [37.44286562901589]
  本研究では,空間推論の多様な側面をカバーする新しいベンチマークであるSpatialEvalを提案する。 我々は、競合する言語と視覚言語モデルを総合的に評価する。 文献で見過ごされてきたいくつかの反直感的な洞察が明らかとなった。
  論文  参考訳（メタデータ） (2024-06-21T03:53:37Z)
• TopViewRS: Vision-Language Models as Top-View Spatial Reasoners [38.406430696146714]
  トップビューの視点は、人間が様々な種類の地図を読み、推論する典型的な方法である。 11,384の質問からなるTopViewRSデータセットを視覚入力として,現実的あるいは意味的なトップビューマップで紹介する。 次に、異なるレベルの複雑さを持つ4つの知覚と推論タスクにわたるVLMの研究と評価に使用します。
  論文  参考訳（メタデータ） (2024-06-04T17:55:43Z)
• Mind's Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models [71.93366651585275]
  大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。 本稿では,LLMの空間的推論を視覚的に行うために,VoT(Visual-of-Thought)を提案する。 VoTはLLMの空間的推論能力を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-04T17:45:08Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities [59.39858959066982]
  空間的関係についての理解と推論は、視覚質問応答(VQA)とロボット工学の基本的な能力である。 我々は,1000万枚の実画像に対して,最大20億個のVQAサンプルをスケール可能な3次元空間VQAデータ自動生成フレームワークを開発した。 このようなデータに基づいてVLMを訓練することにより、定性的空間的VQAと定量的空間的VQAの両方において、その能力を大幅に向上する。
  論文  参考訳（メタデータ） (2024-01-22T18:01:01Z)
• CoVLM: Composing Visual Entities and Relationships in Large Language Models Via Communicative Decoding [66.52659447360104]
  CoVLM は LLM を誘導して、テキスト間の視覚的実体と関係を明示的に構成することができる。 テキスト間の視覚的実体と関係を明示的に構成するために,LLM をガイドする CoVLM を提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:59:44Z)
• Things not Written in Text: Exploring Spatial Commonsense from Visual Signals [77.46233234061758]
  視覚信号を持つモデルがテキストベースモデルよりも空間的コモンセンスを学習するかどうかを検討する。 本稿では,オブジェクトの相対スケールと,異なる動作下での人とオブジェクトの位置関係に着目したベンチマークを提案する。 画像合成モデルは,他のモデルよりも正確で一貫した空間知識を学習できることがわかった。
  論文  参考訳（メタデータ） (2022-03-15T17:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。