Fugu-MT 論文翻訳(概要): InsightMap: Structured Spatial Modeling for Embodied Multimodal Reasoning

論文の概要: InsightMap: Structured Spatial Modeling for Embodied Multimodal Reasoning

arxiv url: http://arxiv.org/abs/2609.37187v1
Date: Tue, 29 Sep 2026 10:10:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:47.40977
Title: InsightMap: Structured Spatial Modeling for Embodied Multimodal Reasoning
Title（参考訳）: InsightMap: マルチモーダル推論のための構造化空間モデリング
Abstract要約: 言語誘導ナビゲーションでは、部分的な観察を永続的な空間参照に接続する必要がある。我々は,トップダウンマップを明示的な空間記憶と行動条件付き予測ターゲットの両方として利用するフレームワークであるInsightMapを紹介した。
参考スコア（独自算出の注目度）: 2.9878960648278565
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Language-guided navigation requires connecting partial observations to a persistent spatial reference and learning how actions change that representation. We introduce InsightMap, a framework that uses top-down maps as both explicit spatial memory and action-conditioned prediction targets. Historical views are linked to labeled map locations, and a shared multimodal backbone jointly learns navigation action prediction and post-action map generation. Map prediction provides auxiliary training supervision, while navigation inference decodes actions from the observed spatial context. An aligned RGB-D data pipeline supports a common interface for navigation, visual question answering, situated reasoning, and 3D grounding. On the validation-unseen splits of R2R-CE and RxR-CE, InsightMap achieves success rates (SR) of 56.9% and 54.9%, respectively. Adding map-prediction supervision improves R2R-CE SR by 4.3 and success weighted by path length (SPL) by 3.2 percentage points. On static spatial tasks, InsightMap achieves 103.7 CIDEr on ScanQA, 60.1% exact-match accuracy on SQA3D, and 53.1% grounding accuracy at 0.5 IoU on ScanRefer with detected object proposals. On Unitree Go2, it outperforms NaVid and NaVILA in hallway, lab, and office environments.
Abstract（参考訳）: 言語誘導ナビゲーションでは、部分的な観察を永続的な空間参照に接続し、アクションがその表現をどのように変化させるかを学ぶ必要がある。我々は,トップダウンマップを明示的な空間記憶と行動条件付き予測ターゲットの両方として利用するフレームワークであるInsightMapを紹介した。履歴ビューはラベル付き地図位置と関連付けられ、共有されたマルチモーダルバックボーンは、ナビゲーションアクション予測とポストアクションマップ生成を共同で学習する。マップ予測は補助的な訓練の監督を提供するが、ナビゲーション推論は観察された空間コンテキストからアクションをデコードする。整列したRGB-Dデータパイプラインは、ナビゲーション、視覚的質問応答、位置推論、および3Dグラウンドのための共通のインターフェースをサポートする。 R2R-CEとRxR-CEの検証未確認分割では、InsightMapはそれぞれ56.9%と54.9%の成功率(SR)を達成した。マップ予測の監督を追加することで、R2R-CE SRは4.3改善され、パス長(SPL)は3.2ポイント向上した。静的空間タスクでは、InsightMapはScanQA上で103.7 CIDEr、SQA3Dで60.1%、ScanReferで0.5 IoUで53.1%のグラウンド精度を達成した。 Unitree Go2では、NaVidとNaVILAの廊下、実験室、オフィス環境を上回ります。

関連論文リスト

NaviScale: Generating Large-Scale Semantic Map Datasets for Object Navigation [38.804758702458166]
意味マップに基づくオブジェクトナビゲーション(ObjectNav)のためのNaviScaleを提案する。このフレームワークは,MP3DとHM3DSemから抽出した部屋レベルの意味と障害物マップを用いて,実家のフロアプランを構成することで,大規模な意味マップトレーニングデータを生成する。得られたデータセットには、12,794のプロパティに関連する24,000のフロアプランから生成される192,000のセマンティックマップが含まれている。
論文参考訳（メタデータ） (2026-09-23T01:30:26Z)
SparseNav: Instruction-conditioned Sparse Semantic Perception for Training-Free Vision-Language Navigation [5.542420543782519]
SparseNavは、セマンティックナビゲーションのより少ない原則に従う、トレーニング不要のフレームワークである。 SparseNavは、軽量な幾何学鳥眼ビュー(BEV)マップとスパースランドマークメモリを持続的に維持する。命令条件付きウェイポイントナビゲーションを用いて,複数の屋内環境にまたがる実効性を検証した。
論文参考訳（メタデータ） (2026-09-22T13:41:49Z)
Map the Possibilities: Spatial Belief Fields for Language-Goal Aerial Navigation [49.03955946482723]
SBFNavは、言語条件付き空間的信念場を中心としたクローズドループナビゲーションフレームワークである。主に観測されたことを記録しているエゴ中心の地図とは異なり、SBFレポジトリ-はタスク条件付き分布を可視な目標位置上で再送する。 SBFNavは、制御のためのメットリックなウェイポイントとして、命令と観察に最も適したゴールを選択する。
論文参考訳（メタデータ） (2026-09-05T03:11:01Z)
RIM: A Retrieval-In-Matching Framework for Cross-Domain Global Visual Localization of UAVs [8.321575653158094]
リモートセンシング参照マップを用いた無人航空機(UAV)のグローバルな視覚的位置推定が注目されている。 Google 3D TilesのUAVビューポイント参照ビューを、位置、高度、方向にわたってサンプリングすることで、これらのシフトに対処する。 2段階のクロスドメインファインチューニングレシピは、SALADをポーズ・ニア・ポジティブと地理的に離れたハード・ネガティブを使って適用し、局所的な幾何学的整合性はトップK候補を再ランク付けする。適応したDINOv2-Bレトリバーを凍結し、トークンフィールドを再利用するローカルディスクリプタデコーダを除去するRetrieval-In-Matching (RIM)を提案する。
論文参考訳（メタデータ） (2026-07-22T13:20:26Z)
Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory [69.51256305550844]
PSC-AVDNは3段階のParsing-Search-Confirmation推論パイプラインを構造化空間記憶と密結合する学習自由フレームワークである。 PSC-AVDNは、トレーニング不要の設定、マッチング、あるいはいくつかの微調整されたメソッドの超越において、新しい最先端のパフォーマンスを確立する。
論文参考訳（メタデータ） (2026-07-13T13:14:20Z)
Beyond Matching to Tiles: Bridging Unaligned Aerial and Satellite Views for Vision-Only UAV Navigation [51.286599397552756]
本稿では,UAVの絶対位置と近距離からの進路を共同で予測する視覚駆動型クロスビューナビゲーション手法であるBering-UAVを提案する。我々はまた、クロスビューのローカライゼーションとナビゲーションを評価するベンチマークである Bearing-UAV-90k も提示する。
論文参考訳（メタデータ） (2026-03-23T16:17:39Z)
Map2Thought: Explicit 3D Spatial Reasoning via Metric Cognitive Maps [35.51348819617679]
Map2Thoughtは、3D VLMの明示的で解釈可能な空間推論を可能にするフレームワークである。 Metric Cognitive Map (Metric-CogMap) と Cognitive Chain-of-Thought (Cog-CoT) はフレームワークの重要なコンポーネントである。我々はMap2Thoughtが説明可能な3D理解を可能にし、半分の監督だけで59.9%の精度を達成できることを示した。
論文参考訳（メタデータ） (2026-01-16T17:02:46Z)
SkeNa: Learning to Navigate Unseen Environments Based on Abstract Hand-Drawn Maps [20.963573846962987]
我々はSketch map-based visual Navigation (SkeNa)を紹介する。 SkeNaは、手書きのスケッチマップのみをガイダンスとして、エージェントが見えない環境でゴールに到達しなければならない、具体化されたナビゲーションタスクである。我々は,71の屋内シーンにわたる54k軌道とスケッチマップのペアからなる大規模データセットSoRを提案する。
論文参考訳（メタデータ） (2025-08-05T03:56:32Z)
V-DETR: DETR with Vertex Relative Position Encoding for 3D Object Detection [73.37781484123536]
DETRフレームワークを用いた点雲のための高性能な3次元物体検出器を提案する。限界に対処するため,新しい3次元相対位置(3DV-RPE)法を提案する。挑戦的なScanNetV2ベンチマークで例外的な結果を示す。
論文参考訳（メタデータ） (2023-08-08T17:14:14Z)
Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language Navigation [87.52136927091712]
我々は,ロボットエージェントが言語指導によって記述された経路をたどって,環境の中をナビゲートするよう訓練する,現実的かつ困難な問題に対処する。高精度かつ効率的なナビゲーションを実現するためには,環境オブジェクトの空間的位置と意味情報の両方を正確に表現した地図を構築することが重要である。より包括的にオブジェクトを表現するために,オブジェクトの細粒度(色,テクスチャなど)とセマンティッククラスの両方を含む多粒度マップを提案する。
論文参考訳（メタデータ） (2022-10-14T04:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。