論文の概要: M3SunAgent: Monocular 3D Spatial Understanding Agent for Metric Depth Estimation and 3D Visual Grounding

• arxiv url: http://arxiv.org/abs/2610.07982v1
• Date: Tue, 06 Oct 2026 08:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.902839
• Title: M3SunAgent: Monocular 3D Spatial Understanding Agent for Metric Depth Estimation and 3D Visual Grounding
• Title（参考訳）: M3SunAgent: メートル深度推定と3次元視覚的接地のための単眼的3次元空間理解エージェント
• Abstract要約: 単眼3次元空間理解のための統一エージェント(M3SunAgent)を提案する。 インスタンスレベルのメートル法深度推定タスクでは、M3SunAgentは対象物の検出ツールを起動し、深さ推定ツールを使用して選択された点の深さを推定し、これらの予測をインスタンスレベルの深さ推定に集約する。 M3SunAgentは、モノクロ3D視覚的グラウンド処理のために、視覚言語モデル(VLM)ツールを使用して目標を特定し、基本空間属性を出力し、バックプロジェクションツールと次元リフトツールを組み合わせて、その3Dバウンディングボックスを予測する。
• 参考スコア（独自算出の注目度）: 22.513612269727734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular metric depth estimation and 3D visual grounding represent the two complementary cornerstones of monocular 3D spatial understanding (M3Sun), from which the fundamental 3D spatial information required by M3Sun can be acquired. However, these complementary tasks are generally conducted by separate frameworks, which pose challenges of inflexible and unaligned spatial information access for embodied intelligence systems. In this paper, we propose a unified agent for monocular 3D spatial understanding (M3SunAgent) that leverages a large language model (LLM) as a task planner for spatial visual programming, which flexibly generate structured programs and coordinate tools. For instance-level metric depth estimation task, M3SunAgent invokes an object detector tool to locate the target, estimates depth at selected points with a depth estimation tool, and aggregates these predictions into an instance-level depth estimate. We also construct the M3Sun Instance (M3SI) dataset, a benchmark with 2,910 samples for evaluation. For monocular 3D visual grounding task, M3SunAgent uses a vision-language model (VLM) tool to locate the target and output basic spatial attributes, then combines back-projection tool with a dimension-lifting tool to predict its 3D bounding box. Experimental results demonstrate the superior performance of M3SunAgent. Specifically, in evaluations of instance-level monocular metric depth estimation, M3SunAgent achieves the best performance among all compared models, 52.61% of predicted instances are distributed below depth error 0.25 ($δ< 0.25$). In evaluations of monocular 3D visual grounding, M3SunAgent demonstrates overall competitive performance than vision and VLM models, reaching a 3D mean intersection over union (mIoU) of 41.73% and exceeding the state-of-the-art MonoVLM model by 3.62%.
• Abstract（参考訳）: M3Sunは、M3Sunに必要な基本的な3次元空間情報を取得することができる。 しかし、これらの補完的なタスクは、一般的に異なるフレームワークによって実行され、インボディード・インテリジェンス・システムにおいて、柔軟で不整合な空間情報アクセスの課題を生じさせる。 本稿では,大規模言語モデル(LLM)を空間的視覚プログラミングのタスクプランナとして活用し,構造化プログラムや座標ツールを柔軟に生成する,単眼的3次元空間理解(M3SunAgent)のための統一エージェントを提案する。 インスタンスレベルのメートル法深度推定タスクでは、M3SunAgentは対象物の検出ツールを起動し、深さ推定ツールを使用して選択された点の深さを推定し、これらの予測をインスタンスレベルの深さ推定に集約する。 また,M3Sun Instance (M3SI)データセットを構築した。 M3SunAgentは、モノクロ3D視覚的グラウンド処理のために、視覚言語モデル(VLM)ツールを使用して目標を特定し、基本空間属性を出力し、バックプロジェクションツールと次元リフトツールを組み合わせて、その3Dバウンディングボックスを予測する。 実験によりM3SunAgentの性能が向上した。 具体的には、M3SunAgentは全ての比較モデルの中で最高の性能を達成し、予測されたインスタンスの52.61%は深さ誤差0.25(δ< 0.25$)以下に分散している。 M3SunAgentは、モノクロ3D視覚グラウンドの評価において、視覚やVLMモデルよりも総合的な競争性能を示し、41.73%の結合(mIoU)を3D平均で達成し、最先端のMonoVLMモデルを3.62%上回った。

関連論文リスト

• Ground3D-LMM: Fine-Grained 3D Point Grounding and Spatial Reasoning with LMM [54.042182747931925]
  3D環境に関する自然言語クエリは、応答が検証可能で測定可能なときに実行可能である。 既存の3次元大規模マルチモーダルモデル (LMM) のアプローチは限定的である。 我々は,点雲と任意のRGB画像を入力として取り出す統一モデルであるGround3D-LMMを提案し,三次元空間会話をサポートする。
  論文  参考訳（メタデータ） (2026-07-06T18:00:00Z)
• SpatialSV: Internalizing Interpretable 3D Spatial Awareness in MLLMs via Task-Oriented Visual Supervision [12.336413790708738]
  大規模言語モデル(MLLM)の空間知能は,3次元世界を理解する上で重要である。 本研究では,MLLMの内部で頑健な3次元空間認識を実現するためのフレームワークであるSpatialSVを提案する。
  論文  参考訳（メタデータ） (2026-06-18T08:09:32Z)
• Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence [63.11502936651325]
  本稿では,空間知能のための二経路幾何対応MLLMであるGAMSIを提案する。 RGB画像のみを入力とし、両方の幾何学的形態を統一された自己回帰バックボーン内に内包する。 GAMSIは、7つの空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-25T01:33:19Z)
• MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs [19.70116190496693]
  MLLM(Multimodal large language model)は、2次元の視覚的理解に優れるが、3次元空間を推論する能力には限界がある。 本研究では,1)新しい教師付き微調整データセットの導入,2)屋内シーンに焦点を当てた新しい評価ベンチマークを導入するために,オープンセットアノテーションを用いた大規模高品質3Dシーンデータを活用する。
  論文  参考訳（メタデータ） (2025-03-17T12:34:22Z)
• VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
  モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。 本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-04-15T03:12:12Z)
• Towards Multimodal Multitask Scene Understanding Models for Indoor Mobile Agents [49.904531485843464]
  本稿では,現実世界の屋内環境におけるラベル付きデータの不十分,あるいは不可能,といった主な課題について論じる。 MMISM (Multi-modality input Multi-task output Indoor Scene Understanding Model) について述べる。 MMISMは、RGB画像だけでなく、スパースライダーポイントを入力と3Dオブジェクト検出、深さ完了、人間のポーズ推定、セマンティックセグメンテーションを出力タスクとみなしている。 MMISMはシングルタスクモデルよりも同等かそれ以上の性能を示す。
  論文  参考訳（メタデータ） (2022-09-27T04:49:19Z)
• SGM3D: Stereo Guided Monocular 3D Object Detection [62.11858392862551]
  SGM3Dと呼ばれるステレオ誘導単分子物体検出ネットワークを提案する。 ステレオ画像から抽出したロバストな3次元特徴を利用して、モノクル画像から得られた特徴を強化する。 本手法は,余分な計算コストを伴わずに性能を向上させるために,他の多くの単分子的手法に統合することができる。
  論文  参考訳（メタデータ） (2021-12-03T13:57:14Z)
• M3DSSD: Monocular 3D Single Stage Object Detector [82.25793227026443]
  特徴アライメントと非対称非局所的注意を有するモノクロ3次元単段物体検出器(M3DSSD)を提案する。 提案したM3DSSDは,KITTIデータセット上のモノラルな3Dオブジェクト検出手法よりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2021-03-24T13:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。