論文の概要: Mind over Space: Can Multimodal Large Language Models Mentally Navigate?
- arxiv url: http://arxiv.org/abs/2603.21577v1
- Date: Mon, 23 Mar 2026 04:59:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.496024
- Title: Mind over Space: Can Multimodal Large Language Models Mentally Navigate?
- Title（参考訳）: 空間よりもマインド: マルチモーダルな大規模言語モデルは精神的にナビゲートできるか?
- Authors: Qihui Zhu, Shouwei Ruan, Xiao Yang, Hao Jiang, Yao Huang, Shiji Zhao, Hanwei Fan, Hang Su, Xingxing Wei,
- Abstract要約: メンタルナビゲーションは経験から空間表現の戦略的構築である。
Video2 FrontierはMLLMのメンタルナビゲーション能力を評価するための先駆的なベンチマークである。
実験により、NavMindは優れたメンタルナビゲーション能力を発揮することが示された。
- 参考スコア（独自算出の注目度）: 45.1484159975388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the widespread adoption of MLLMs in embodied agents, their capabilities remain largely confined to reactive planning from immediate observations, consistently failing in spatial reasoning across extensive spatiotemporal scales. Cognitive science reveals that Biological Intelligence (BI) thrives on "mental navigation": the strategic construction of spatial representations from experience and the subsequent mental simulation of paths prior to action. To bridge the gap between AI and BI, we introduce Video2Mental, a pioneering benchmark for evaluating the mental navigation capabilities of MLLMs. The task requires constructing hierarchical cognitive maps from long egocentric videos and generating landmark-based path plans step by step, with planning accuracy verified through simulator-based physical interaction. Our benchmarking results reveal that mental navigation capability does not naturally emerge from standard pre-training. Frontier MLLMs struggle profoundly with zero-shot structured spatial representation, and their planning accuracy decays precipitously over extended horizons. To overcome this, we propose \textbf{NavMind}, a reasoning model that internalizes mental navigation using explicit, fine-grained cognitive maps as learnable intermediate representations. Through a difficulty-stratified progressive supervised fine-tuning paradigm, NavMind effectively bridges the gap between raw perception and structured planning. Experiments demonstrate that NavMind achieves superior mental navigation capabilities, significantly outperforming frontier commercial and spatial MLLMs.
- Abstract（参考訳）: MLLMがエンボディエージェントに広く採用されているにもかかわらず、それらの能力はすぐに観測された反応計画に限られており、時空間の広範囲にわたる空間的推論において一貫して失敗している。
認知科学は、生物学的インテリジェンス(BI)が、経験から空間表現の戦略的構築とその後の行動前の経路の精神的シミュレーションという「メンタルナビゲーション」に長けていることを明らかにする。
AIとBIのギャップを埋めるため、MLLMのメンタルナビゲーション能力を評価するための先駆的なベンチマークであるVideo2Mentalを紹介した。
このタスクでは、長い自我中心のビデオから階層的な認知マップを構築し、段階的にランドマークベースのパスプランを生成し、シミュレータベースの物理的相互作用を通じて正確な計画を立てる必要がある。
ベンチマークの結果、精神的なナビゲーション能力は、通常の事前トレーニングから自然に現れるものではないことが判明した。
フロンティアMLLMはゼロショット構造された空間表現と深く格闘し、その計画精度は拡大水平線上で急激に崩壊する。
これを解決するために,明示的できめ細かな認知地図を学習可能な中間表現として、メンタルナビゲーションを内部化する推論モデルである「textbf{NavMind}」を提案する。
難易度の高いプログレッシブな教師付き微調整パラダイムを通じて、NavMindは生の知覚と構造化された計画のギャップを効果的に橋渡しする。
実験により、NavMindは、フロンティアの商業的および空間的MLLMを著しく上回り、優れたメンタルナビゲーション能力を発揮することが示された。
関連論文リスト
- AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - VLingNav: Embodied Navigation with Adaptive Reasoning and Visual-Assisted Linguistic Memory [43.2995099083993]
VLAモデルは、認識と計画を統合することで、航法を具現化する有望な可能性を示してきた。
既存のVLAモデルは、観察から行動へのリアクティブマッピングに直接依存している。
VLingNav(VLAモデル)を提案する。
論文 参考訳（メタデータ） (2026-01-13T15:43:43Z) - SpatialDreamer: Incentivizing Spatial Reasoning via Active Mental Imagery [64.67498968405327]
SpaceDreamerは、活発な探索のクローズループプロセスを通じて空間推論を可能にする強化学習フレームワークである。
GeoPOは、整合性幾何制約を伴う木構造サンプリングとステップレベルの報酬推定を導入している。
論文 参考訳（メタデータ） (2025-12-08T17:20:50Z) - Think, Remember, Navigate: Zero-Shot Object-Goal Navigation with VLM-Powered Reasoning [8.316876835702525]
ビジョンランゲージモデル(VLM)は、ロボットナビゲーションを変換するために設定されている。
我々のフレームワークは、その文脈理解を活用してフロンティアベースの探索エージェントを誘導する高レベルのプランニングをVLMにアウトソースする。
HM3D、Gibson、MP3Dのような挑戦的なベンチマークでテストすると、この手法は例外的に直接的かつ論理的な軌道を生成する。
論文 参考訳（メタデータ） (2025-11-12T03:38:50Z) - Mind Meets Space: Rethinking Agentic Spatial Intelligence from a Neuroscience-inspired Perspective [53.556348738917166]
エージェントAIの最近の進歩は、自律的なタスク実行と言語に基づく推論が可能なシステムにつながっている。
人間の空間知能は、統合された多感覚知覚、空間記憶、認知マップに根ざし、非構造環境における柔軟でコンテキスト対応の意思決定を可能にする。
論文 参考訳（メタデータ） (2025-09-11T05:23:22Z) - From reactive to cognitive: brain-inspired spatial intelligence for embodied agents [50.99942960312313]
Brain-inspired Space Cognition for Navigation (BSC-Nav) は、エンボディエージェントにおける構造化空間メモリの構築と活用のための統合されたフレームワークである。
BSC-Navは、エゴセントリックな軌跡と文脈的手がかりからアロセントリックな認知マップを構築し、意味的目標に沿った空間的知識を動的に回収する。
論文 参考訳（メタデータ） (2025-08-24T03:20:48Z) - DORAEMON: Decentralized Ontology-aware Reliable Agent with Enhanced Memory Oriented Navigation [55.888688171010365]
DORAEMONは、人間のナビゲーション機能を模倣したVentralとDorsal Streamsで構成される、認知にインスパイアされたフレームワークである。
我々は,DORAEMONをHM3D,MP3D,GOATのデータセット上で評価し,成功率(SR)と成功度(SPL)の測定値の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-28T04:46:13Z) - Endowing Embodied Agents with Spatial Reasoning Capabilities for Vision-and-Language Navigation [0.0]
本稿では,生物学的空間認知理論と認知地図理論に着想を得た,バイオインスパイアされた空間認知ナビゲーションフレームワークBrainNavを提案する。
BrainNavは、デュアルマップ(座標マップとトポロジマップ)とデュアル指向(相対方向と絶対方向)戦略を統合し、動的なシーンキャプチャとパス計画によるリアルタイムナビゲーションを可能にする。
その5つのコアモジュール、ヒッポ海馬記憶ハブ、視覚皮質知覚エンジン、頭頂部空間コンストラクタ、前頭前決定センター、および脳運動実行単位の生体認知機能により、空間幻覚を減少させ、適応性を高める。
論文 参考訳（メタデータ） (2025-04-09T02:19:22Z) - CogNav: Cognitive Process Modeling for Object Goal Navigation with LLMs [39.657663028904814]
オブジェクトゴールナビゲーション(Object goal navigation、ObjectNav)は、AIの具体化における基本的なタスクであり、エージェントが以前目に見えない環境でターゲットオブジェクトを見つける必要がある。
大規模言語モデルを用いた認知過程の模倣を目的としたフレームワークであるCogNavを提案する。
CogNavは、少なくとも最先端技術に比べて、ObjectNavの成功率を14%向上させる。
論文 参考訳（メタデータ） (2024-12-11T09:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。