論文の概要: SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?
- arxiv url: http://arxiv.org/abs/2610.26659v2
- Date: Tue, 20 Oct 2026 02:49:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.360349
- Title: SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?
- Title（参考訳）: SpaceScout: VLMエージェントは3Dシーンを積極的に探索し、マップできるのか?
- Abstract要約: 本研究では,視覚言語モデル(VLM)エージェントをアクティブなオブジェクトレベル3Dマッピング上で評価するためのベンチマークであるSpatialScoutを紹介する。
SpaceScoutは3,140のターゲットオブジェクトを含む80の多様な屋内シーンで構成されている。
- 参考スコア（独自算出の注目度）: 15.967839832996082
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatial intelligence requires agents to actively acquire visual evidence and integrate observations into a coherent representation of the three-dimensional world. Yet spatial question answering offers limited evidence of whether models can construct accurate metric maps through autonomous exploration. We introduce SpatialScout, a benchmark for evaluating vision-language model (VLM) agents on active object-level 3D mapping. SpatialScout comprises 80 diverse indoor scenes containing 3,140 target objects. Given an object inventory, RGB observations, camera calibration, and camera poses, agents control a camera to explore each scene and estimate object centers in a shared coordinate frame. The task requires coordinating viewpoint selection, cross-view association, geometric estimation, and map revision under bounded interaction budgets. Evaluation jointly measures localization accuracy and target coverage through object-scale overlap scores that penalize missing predictions. Experiments with frontier VLMs reveal substantial limitations: the strongest evaluated model, Claude Opus 5.5, achieves a mean overlap score of 41.71%, with 47.23% of targets exceeding an intersection-over-union (IoU) threshold of 0.5 and only 3.25% exceeding 0.9. These results reveal a substantial gap between recovering coarse object layouts and constructing complete, precise metric maps. SpatialScout provides a quantitative testbed for developing agents that build reliable 3D spatial representations through active perception. Code is available at https://github.com/JesseZZZZZ/SpatialScout.
- Abstract（参考訳）: 空間知能は、エージェントが積極的に視覚的証拠を取得し、観察を3次元世界の一貫性のある表現に統合することを要求する。
しかし、空間的質問応答は、モデルが自律的な探索を通して正確な計量地図を構築することができるかどうかの限られた証拠を提供する。
本研究では,視覚言語モデル(VLM)エージェントをアクティブなオブジェクトレベル3Dマッピング上で評価するためのベンチマークであるSpatialScoutを紹介する。
SpaceScoutは3,140のターゲットオブジェクトを含む80の多様な屋内シーンで構成されている。
オブジェクトのインベントリ、RGB観測、カメラキャリブレーション、カメラのポーズを与えられたエージェントは、カメラを制御して各シーンを探索し、共有座標フレーム内のオブジェクト中心を推定する。
このタスクには、境界相互作用予算の下での視点選択、クロスビューアソシエーション、幾何推定、マップリビジョンの調整が必要である。
評価は、欠落した予測をペナルティ化するオブジェクトスケールのオーバーラップスコアを通じて、ローカライズ精度とターゲットカバレッジを共同測定する。
最強の評価モデルであるクロード・オプス5.5は平均オーバーラップスコア41.71%、目標の47.23%がインターチェンジ・オーバー・ユニオン(IoU)閾値0.5を超え、わずか3.25%が0.9を超えた。
これらの結果から,粗いオブジェクトレイアウトの復元と,完全かつ正確な距離マップの構築の間には,かなりのギャップがあることがわかった。
SpaceScoutは、アクティブな知覚を通して信頼できる3次元空間表現を構築するエージェントを開発するための定量的テストベッドを提供する。
コードはhttps://github.com/JesseZZZZ/SpatialScout.comで入手できる。
関連論文リスト
- SituHOI: Scalable Capture of Scene-Situated Full-Body Human-Object Interaction [44.88259265820753]
SituHOIは大規模なRGB-Dデータセットで、16室に18,429本の注釈付きクリップが含まれている。
単一の動くRGB-Dカメラからの録音と、静的なシーンスキャン、オブジェクト幾何学、言語記述、推定された人間とオブジェクトの軌跡をペアリングする。
これらのデータは、目標条件付き共同動作予測ベンチマークであるFlexHOI-Benchをサポートする。
論文 参考訳（メタデータ） (2026-10-13T17:39:10Z) - Measurable Semantic 3D Gaussian Splatting with Joint Region and Depth Supervision for Interactive Building Inspection [4.0344557117693745]
本研究では,多視点画像からの対話型ビルディングインスペクションのための領域・深度監視機能を備えた計測可能な意味的3Dガウススティング(3DGS)フレームワークを提案する。
セマンティックガウスのフィールドは学習可能なクラス機能と個々のガウスのプリミティブを関連付け、セマンティックレンダリングとコンポーネントレベルのインスペクションを可能にする。
これらの機能は、リアルタイムビジュアライゼーション、セマンティック分析、定量測定、マルチモーダル・大規模言語モデル(MLLM)アシストインタラクションをサポートする対話型ビルディングインスペクションプラットフォームであるAEC-SplatTwinを通じて運用されている。
論文 参考訳（メタデータ） (2026-10-09T07:33:37Z) - 3D Segmentation Using Viewpoint-Dependent Spatial Relationships [55.198821645924234]
220kのベンチマークサンプルを含む視点対応3Dセグメンテーションデータセットを提案する。
このデータセットでは、対象オブジェクトはオブザーバー中心の空間関係によってのみ識別できる。
カメラのポーズをエンコードする視点表現を導入し、そのモデルに観察視点を条件づける。
論文 参考訳（メタデータ） (2026-05-15T07:58:44Z) - Monocular 3D Object Position Estimation with VLMs for Human-Robot Interaction [0.9601607750628977]
本研究では3次元座標検出タスクにおける視覚言語モデル(VLM)の対話的能力について検討する。
我々は、10万以上の画像の異種データセットを収集し、カスタムレグレッションヘッドでQLoRAを用いてVLMを微調整した。
以上の結果から,テストセットの中央値13mmのMAEと,より単純なベースラインよりも5倍の精度向上が得られた。
論文 参考訳（メタデータ） (2026-03-01T18:41:48Z) - Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。
新たな統合的ツイスト推定法を用いて調音モデルを推定する。
また,Arti4D-Semanticデータセットについても紹介する。
論文 参考訳（メタデータ） (2026-02-18T10:40:35Z) - PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。
我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。
相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
論文 参考訳（メタデータ） (2024-11-17T23:09:08Z) - Collaboration Helps Camera Overtake LiDAR in 3D Detection [49.58433319402405]
カメラのみの3D検出は、LiDARベースの検出システムと比較して、オブジェクトを3D空間にローカライズするための簡単なソリューションを提供する。
提案するコラボレーティブカメラのみの3D検出(CoCa3D)により,エージェントは通信を通じて相互に補完情報を共有できる。
その結果、CoCa3Dは従来のSOTA性能をDAIR-V2Xで44.21%改善し、OPV2V+で30.60%、AP@70でCoPerception-UAVs+で12.59%向上した。
論文 参考訳（メタデータ） (2023-03-23T03:50:41Z) - Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。
提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
論文 参考訳（メタデータ） (2022-11-21T11:13:08Z) - Object Manipulation via Visual Target Localization [64.05939029132394]
オブジェクトを操作するための訓練エージェントは、多くの課題を提起します。
本研究では,対象物体を探索する環境を探索し,位置が特定されると3次元座標を計算し,対象物が見えない場合でも3次元位置を推定する手法を提案する。
評価の結果,同じ感覚スイートにアクセス可能なモデルに比べて,成功率が3倍に向上したことが示された。
論文 参考訳（メタデータ） (2022-03-15T17:59:01Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。