論文の概要: UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City
- arxiv url: http://arxiv.org/abs/2608.27456v1
- Date: Thu, 27 Aug 2026 17:59:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.524981
- Title: UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City
- Title（参考訳）: UrbanGround:実物大都市における地域認識から空間的エージェンシーへ
- Abstract要約: マルチモーダル大言語モデル(MLLM)はストリートビューを解釈できるが、都市局はエージェントが移動し始めると、そのような局所的な証拠が有用かどうかに依存している。
本研究では,現在のMLLMエージェントが,複雑な都市における都市認識を信頼性のある行動に変換する方法について検討する。
そこで本研究では,香港の3次元地理空間データから構築した物理的に制約されたレプリカで,この問題を検証可能な最初のサンドボックスであるUrbanGroundを提案する。
- 参考スコア（独自算出の注目度）: 63.28750191463138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal large language models (MLLMs) can interpret a street view, but urban agency depends on whether such local evidence remains useful after the agent starts to move. In this paper, we investigate how far current MLLM agents can turn local urban perception into reliable action in a complicated real-scale city. We propose UrbanGround, the first sandbox to make this question testable in a physically constrained replica of Hong Kong built from territory-wide 3D geospatial data. UrbanGround supports closed-loop interaction from a first-person view and provides an interactive map for navigation. Agents can directly enter the 3D city and explore from a first-person view. Our analysis follows the growth of the spatial problem through three research questions. We first test whether an agent can ground a local scene well enough to answer spatial questions after active observation. Then we ask whether that grounding supports navigation as destinations become farther away and less explicit. Finally, we examine whether the resulting behavior survives changes in route availability and pedestrian motion. Contemporary MLLM agents usually show useful atomic abilities in visual recognition and short-range spatial reasoning, while orientation and pedestrian-aware movement remain unreliable. Their central failure emerges over extended exploration, where local abilities do not compose into sustained goal-directed behavior and errors accumulate without effective correction. We hope UrbanGround will support broader study of how far current MLLM agents can explore reliably in complex, open-ended urban environments.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)はストリートビューを解釈できるが、都市局はエージェントが移動し始めると、そのような局所的な証拠が有用かどうかに依存している。
本稿では,現在のMLLMエージェントが,複雑な都市における都市認識を信頼度の高い行動に変換する方法について検討する。
そこで本研究では,香港の3次元地理空間データから構築した物理的に制約されたレプリカで,この問題を検証可能な最初のサンドボックスであるUrbanGroundを提案する。
UrbanGroundは、ファーストパーソンビューからのクローズドループインタラクションをサポートし、ナビゲーションのためのインタラクティブマップを提供する。
エージェントは直接3D都市に入り、一人称視点から探索することができる。
解析は3つの研究課題を通じて空間問題の進展を追及する。
まず,アクティブな観察の後,空間的な疑問に答えられるように,エージェントが局所的なシーンを十分に接地できるかどうかを検証した。
そして、目的地が遠くなるにつれて、その接地がナビゲーションをサポートするかどうかを尋ねる。
最後に、経路の可利用性や歩行者の動きの変化が、結果として生じる行動が持続するかどうかを検討する。
現代のMLLMエージェントは通常、視覚認識や近距離空間推論において有用な原子能力を示し、一方、方向と歩行者認識運動は信頼できないままである。
彼らの中心的な失敗は、局所的な能力が持続的な目標指向の行動に構成されず、エラーが効果的な修正なしに蓄積される、拡張探索によって生じる。
UrbanGroundは、現在のMLLMエージェントが、複雑なオープンエンドの都市環境において、いかに確実に探索できるか、より広範な研究を支援することを願っている。
関連論文リスト
- How Far Are Large Multimodal Models from Human-Level Spatial Action? A Benchmark for Goal-Oriented Embodied Navigation in Urban Airspace [27.624616950756643]
大規模マルチモーダルモデル(LMM)は、視覚言語学的推論が強いが、空間的決定と行動の能力は未だ不明である。
都市3次元空間における目標指向ナビゲーションにおいて,LMMが人間のような具体的空間行動を実現することができるかどうかを検討する。
実験によると、現在のLMMは新たな行動能力を示すが、人間レベルの性能には及ばない。
論文 参考訳（メタデータ） (2026-04-09T08:37:20Z) - City Navigation in the Wild: Exploring Emergent Navigation from Web-Scale Knowledge in MLLMs [13.863236619171174]
Taskは、知識集約的な現実世界環境におけるMLLMのシーケンシャルな意思決定能力を評価するように設計されている。
このタスクを,4つの多様なグローバル都市を対象とするベンチマークであるCityNavで運用する。
エージェントは、50以上の意思決定ポイントを順次ナビゲートするために、視覚入力と内部マルチモーダル推論のみに依存する必要がある。
本稿では,明示的な認知地図を探索することにより,エージェントの内部的推論を明示的に根拠とするVerbalization of Path (VoP)を提案する。
論文 参考訳（メタデータ） (2025-12-17T19:59:31Z) - Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks [108.15756345836901]
大規模モデルを用いたマルチモーダル空間推論タスクの包括的レビューを行う。
我々は、視覚言語ナビゲーションやアクションモデルを含む、具体的AIの進歩についてレビューする。
我々は,新しいセンサによる空間的理解に寄与する音声やエゴセントリックビデオなどの新たなモダリティを考察する。
論文 参考訳（メタデータ） (2025-10-29T17:55:43Z) - OpenCity3D: What do Vision-Language Models know about Urban Environments? [4.468922393753096]
視覚言語モデル(VLM)は3次元シーン理解に非常に有望であるが、主に屋内空間や自律運転に応用されている。
本研究は,多視点空中画像からの3次元再構成を活用することで,都市環境への利用を拡大する。
本稿では, 人口密度推定, 建築年齢分類, 不動産価格予測, 犯罪率評価, 騒音汚染評価などの高レベル課題に対処するOpenCity3Dを提案する。
論文 参考訳（メタデータ） (2025-03-21T01:11:21Z) - CityEQA: A Hierarchical LLM Agent on Embodied Question Answering Benchmark in City Space [35.223263448229716]
EQA(Embodied Question Answering)は主に屋内環境に焦点を当てている。
本研究では,ダイナミックな都市空間における活発な探索を通じてオープンな語彙に答える新しい課題であるCityEQAを紹介する。
我々は,1,412の人的注釈付きタスクを含む最初のベンチマークデータセットであるCityEQA-ECを提示する。
また,CityEQA に適した新規エージェントである Planner-Manager-Actor (PMA) を提案する。
論文 参考訳（メタデータ） (2025-02-18T04:36:15Z) - CityX: Controllable Procedural Content Generation for Unbounded 3D Cities [50.10101235281943]
現在の生成法は多様性、可制御性または忠実度に乏しい。
本研究では,高忠実度生成のための手続き的コンテンツ生成(PCG)技術を利用する。
我々は,OSM,セマンティックマップ,衛星画像などのマルチモーダル命令を実行可能なプログラムに変換するマルチエージェントフレームワークを開発した。
提案手法はCityXと呼ばれ,多種多様で制御可能でリアルな3D都市景観の創出において,その優位性を実証するものである。
論文 参考訳（メタデータ） (2024-07-24T18:05:13Z) - 3D Question Answering for City Scene Understanding [12.433903847890322]
3Dマルチモーダル質問応答(MQA)は,知的エージェントが周囲を3D環境下で理解できるようにすることによって,シーン理解において重要な役割を担っている。
都市レベルのシーン理解のための3D MQAデータセットCity-3DQAを提案する。
新しいベンチマークを報告し,提案したSg-CityUはCity-3DQAの異なる設定で63.94 %と63.76 %の精度を達成する。
論文 参考訳（メタデータ） (2024-07-24T16:22:27Z) - ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints [94.60414567852536]
長距離航法には、計画と局所的な移動可能性の推論の両方が必要である。
学習と計画を統合する学習に基づくアプローチを提案する。
ViKiNGは、画像ベースの学習コントローラを利用できる。
論文 参考訳（メタデータ） (2022-02-23T02:14:23Z) - Occupancy Anticipation for Efficient Exploration and Navigation [97.17517060585875]
そこで我々は,エージェントが自我中心のRGB-D観測を用いて,その占有状態を可視領域を超えて推定する,占有予測を提案する。
エゴセントリックなビューとトップダウンマップの両方でコンテキストを活用することで、私たちのモデルは環境のより広いマップを予測できます。
われわれのアプローチは、2020 Habitat PointNav Challengeの優勝だ。
論文 参考訳（メタデータ） (2020-08-21T03:16:51Z) - Learning to Move with Affordance Maps [57.198806691838364]
物理的な空間を自律的に探索し、ナビゲートする能力は、事実上あらゆる移動型自律エージェントの基本的な要件である。
従来のSLAMベースの探索とナビゲーションのアプローチは、主にシーン幾何学の活用に重点を置いている。
学習可能な余剰マップは探索と航法の両方において従来のアプローチの強化に利用でき、性能が大幅に向上することを示します。
論文 参考訳（メタデータ） (2020-01-08T04:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。