論文の概要: Incremental 3D Semantic Scene Graph Prediction from RGB Sequences

• arxiv url: http://arxiv.org/abs/2305.02743v2
• Date: Sat, 6 May 2023 20:15:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 11:22:13.939127
• Title: Incremental 3D Semantic Scene Graph Prediction from RGB Sequences
• Title（参考訳）: RGBシーケンスからのインクリメンタル3次元セマンティックシーングラフ予測
• Authors: Shun-Cheng Wu, Keisuke Tateno, Nassir Navab, Federico Tombari
• Abstract要約: RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
• 参考スコア（独自算出の注目度）: 86.77318031029404
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: 3D semantic scene graphs are a powerful holistic representation as they describe the individual objects and depict the relation between them. They are compact high-level graphs that enable many tasks requiring scene reasoning. In real-world settings, existing 3D estimation methods produce robust predictions that mostly rely on dense inputs. In this work, we propose a real-time framework that incrementally builds a consistent 3D semantic scene graph of a scene given an RGB image sequence. Our method consists of a novel incremental entity estimation pipeline and a scene graph prediction network. The proposed pipeline simultaneously reconstructs a sparse point map and fuses entity estimation from the input images. The proposed network estimates 3D semantic scene graphs with iterative message passing using multi-view and geometric features extracted from the scene entities. Extensive experiments on the 3RScan dataset show the effectiveness of the proposed method in this challenging task, outperforming state-of-the-art approaches.
• Abstract（参考訳）: 3dセマンティックシーングラフは、個々のオブジェクトを記述し、それらの関係を描写する強力な総合表現である。 これらは、シーン推論を必要とする多くのタスクを可能にするコンパクトなハイレベルグラフである。 実世界の環境では、既存の3d推定手法は、主に高密度入力に依存する堅牢な予測を生成する。 本研究では,RGB画像シーケンスが与えられたシーンの連続した3Dセマンティックシーングラフを段階的に構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するパイプラインはスパースポイントマップを同時に再構成し、入力画像からエンティティ推定を融合する。 提案ネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復メッセージパッシングを伴う3次元意味的シーングラフを推定する。 3RScanデータセットの大規模な実験により,本課題における提案手法の有効性が示された。

関連論文リスト

• ESGNN: Towards Equivariant Scene Graph Neural Network for 3D Scene Understanding [2.5165775267615205]
  この研究は、シーン理解のために3Dポイントクラウドからセマンティックシーングラフを生成するために、Equivariant Graph Neural Networkを実装した最初のものである。 提案手法であるESGNNは、既存の最先端手法よりも優れており、より高速な収束によるシーン推定の大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-06-30T06:58:04Z)
• ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning [125.90002884194838]
  ConceptGraphsはオープンな3Dシーン用のグラフ構造化表現である。 2Dファウンデーションモデルを活用し、マルチビューアソシエーションによってアウトプットを3Dに融合することで構築される。 我々は,この表現の有用性を,下流の計画タスクを通じて実証する。
  論文  参考訳（メタデータ） (2023-09-28T17:53:38Z)
• SGRec3D: Self-Supervised 3D Scene Graph Learning via Object-Level Scene Reconstruction [16.643252717745348]
  本稿では,3次元シーングラフ予測のための自己教師付き事前学習手法であるSGRec3Dを提案する。 事前トレーニングを行うSGRec3Dはオブジェクト関係ラベルを必要としないため、大規模な3Dシーン理解データセットを活用できる。 我々の実験は,最近のクラウドベースの事前学習手法とは対照的に,提案した事前学習は3次元シーングラフの予測を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-09-27T14:45:29Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences [76.28527350263012]
  rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。 我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。 提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
  論文  参考訳（メタデータ） (2021-03-27T13:00:36Z)
• SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion [86.77318031029404]
  本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。 我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
  論文  参考訳（メタデータ） (2020-10-26T15:31:52Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。