論文の概要: IncR-3DSGG: Incremental Posed RGB Image Based 3D Scene Graph Generation via Privileged Depth Supervision
- arxiv url: http://arxiv.org/abs/2611.15429v1
- Date: Wed, 11 Nov 2026 12:58:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.144176
- Title: IncR-3DSGG: Incremental Posed RGB Image Based 3D Scene Graph Generation via Privileged Depth Supervision
- Title(参考訳): IncR-3DSGG:Privleged Depth SupervisionによるRGB画像に基づく3次元画像生成
- Abstract要約: IncR-3DSGGは、オフザシェルフ視覚SLAMシステムによって推定されるカメラ外在物を用いたポストフットノートRGB画像から、段階的に3Dシーングラフを構築する。
提案手法は,RGB画像のみから,関係と3次元オブジェクト表現を予測できることを示す。
- 参考スコア(独自算出の注目度): 13.799233438409004
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Scene graphs provide a compact, structured representation of environments by capturing objects and their spatial or semantic relationships in a form suitable for embodied agents. Existing 3D scene graph generation methods often rely on depth sensing at inference, either to associate object instances across views via point cloud overlap or to compute inter-object relations from geometric cues, limiting deployment to platforms with depth sensors. We propose IncR-3DSGG, which builds 3D scene graphs incrementally from posed\footnote{RGB images with camera extrinsics estimated by an off-the-shelf visual SLAM system.} RGB images, eliminating the use of depth sensors at inference. Our method leverages a Parametric Relation Predictor (PRP) that learns to estimate pairwise distances and relative angles between objects from 2D visual features and 2D geometric cues, using 3D geometric supervision available only during training. These learned pairwise measurements are fused across views through Pose Graph Optimization (PGO)~\cite{grisetti2010tutorial} to recover metrically grounded 3D object positions and build a globally consistent 3D scene graph incrementally. On the real-world 3RScan~\cite{wald2019rio} dataset, our method attains $52.2$ mean object recall and $30.8$ mean predicate recall under the 3DSSG~\cite{wald2020learning} evaluation protocol, against $27.0$ and $17.6$ for MonoSSG~\cite{wu2023incremental}, while using no depth or reconstructed geometry at inference. This shows that relations and metrically grounded 3D object representations can be predicted from posed RGB images alone.
- Abstract(参考訳): シーングラフは、オブジェクトとその空間的または意味的な関係をエンボディされたエージェントに適した形でキャプチャすることで、環境のコンパクトで構造化された表現を提供する。
既存の3Dシーングラフ生成手法では、オブジェクトのインスタンスを点雲の重なりを通じて関連づけたり、幾何学的手がかりからオブジェクト間の関係を計算したり、奥行きセンサーを持つプラットフォームへのデプロイメントを制限したりする。
InR-3DSGGは,オフザシェルフ視覚SLAMシステムによって推定されるカメラ外在物を用いたposed\footnote{RGB画像から,インクリメンタルに3Dシーングラフを構築する。
奥行きセンサーを使わずにRGB画像を作成する。
本手法では,2次元視覚特徴と2次元幾何学的手がかりから物体間の対角距離と相対角を推定するパラメトリック関係予測器(PRP)を,トレーニング時にのみ利用できる3次元幾何学的監督法を用いて活用する。
これらの学習されたペアワイズ測定は、Pose Graph Optimization (PGO)~\cite{grisetti2010tutorial}を通じてビュー間で融合し、計量的に基底付けられた3Dオブジェクトの位置を復元し、一貫した3Dシーングラフを漸進的に構築する。
実世界の3RScan~\cite{wald2019rio}データセットでは、3DSSG~\cite{wald2020learning}評価プロトコルで平均オブジェクトリコールが52.2ドル、平均述語リコールが30.8ドルに達し、MonoSSG~\cite{wu2023incremental}では27.0ドルと17.6ドルに対して、推論時に深さや再構成された幾何学を使用しない。
このことは、RGB画像のみから、関係と計量的に基底付けられた3次元オブジェクト表現を予測できることを示している。
関連論文リスト
- SceneGraphGrounder: Zero-Shot 3D Visual Grounding via Structured Scene Graph Matching [2.4737219202679808]
SceneGrapherは,再構成された3次元シーングラフ上の構造化グラフマッチングとして3次元グラウンドを再構成するフレームワークである。
我々は,移動ロボットによる実世界展開によるフレームワークの実証を行い,長距離物理環境における堅牢な空間推論を実証した。
論文 参考訳(メタデータ) (2026-05-20T22:30:51Z) - 3DGeoDet: General-purpose Geometry-aware Image-based 3D Object Detection [17.502554516157893]
3DGeoDetは幾何学を意識した新しい3Dオブジェクト検出手法である。
屋内および屋外環境では、シングルビューとマルチビューのRGBイメージを効果的に処理する。
論文 参考訳(メタデータ) (2025-06-11T09:18:36Z) - Generating Visual Spatial Description via Holistic 3D Scene
Understanding [88.99773815159345]
視覚空間記述(VSD)は、画像内の対象物の空間的関係を記述するテキストを生成することを目的としている。
外部の3Dシーン抽出器を用いて,入力画像の3Dオブジェクトとシーン特徴を抽出する。
対象物の中心となる3次元空間シーングラフ(Go3D-S2G)を構築し,対象物の空間意味を総合的な3次元シーン内にモデル化する。
論文 参考訳(メタデータ) (2023-05-19T15:53:56Z) - Pri3D: Can 3D Priors Help 2D Representation Learning? [37.35721274841419]
近年の3次元知覚の進歩は、3次元空間の幾何学的構造を理解する上で顕著な進歩を示した。
このような幾何学的理解の進歩に触発されて,画像に基づく知覚を幾何学的制約の下で学習した表現で表現することを目指す。
マルチビューRGB-Dデータに基づくネットワークプリトレーニングのためのビュー不変なジオメトリ認識表現の学習手法を提案する。
論文 参考訳(メタデータ) (2021-04-22T17:59:30Z) - Joint Deep Multi-Graph Matching and 3D Geometry Learning from
Inhomogeneous 2D Image Collections [57.60094385551773]
非均質な画像コレクションから変形可能な3Dジオメトリモデルを学ぶためのトレーニング可能なフレームワークを提案する。
さらに,2次元画像で表現された物体の3次元形状も取得する。
論文 参考訳(メタデータ) (2021-03-31T17:25:36Z) - SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D
Sequences [76.28527350263012]
rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。
我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。
提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
論文 参考訳(メタデータ) (2021-03-27T13:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。