論文の概要: Instance-incremental Scene Graph Generation from Real-world Point Clouds
via Normalizing Flows
- arxiv url: http://arxiv.org/abs/2302.10425v1
- Date: Tue, 21 Feb 2023 03:34:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 16:34:57.693280
- Title: Instance-incremental Scene Graph Generation from Real-world Point Clouds
via Normalizing Flows
- Title（参考訳）: 正規化フローによる実世界点雲からのインスタンスインクリメンタルシーングラフ生成
- Authors: Chao Qi, Jianqin Yin, Jinghang Xu, and Pengxiang Ding
- Abstract要約: この研究は、インスタンスインクリメンタルなシーングラフ生成の新しいタスクを導入する。
拡張現実のような視覚ベースのアプリケーションにおいて、新しい3Dオブジェクトを現実世界のシーンに挿入する際のガイドとなる。
正規化フロー(3D-ANF)に基づく3次元自己回帰フレームワークを用いて対処する。
- 参考スコア（独自算出の注目度）: 6.926368503995422
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work introduces a new task of instance-incremental scene graph
generation: Given an empty room of the point cloud, representing it as a graph
and automatically increasing novel instances. A graph denoting the object
layout of the scene is finally generated. It is an important task since it
helps to guide the insertion of novel 3D objects into a real-world scene in
vision-based applications like augmented reality. It is also challenging
because the complexity of the real-world point cloud brings difficulties in
learning object layout experiences from the observation data (non-empty rooms
with labeled semantics). We model this task as a conditional generation problem
and propose a 3D autoregressive framework based on normalizing flows (3D-ANF)
to address it. We first represent the point cloud as a graph by extracting the
containing label semantics and contextual relationships. Next, a model based on
normalizing flows is introduced to map the conditional generation of graphic
elements into the Gaussian process. The mapping is invertible. Thus, the
real-world experiences represented in the observation data can be modeled in
the training phase, and novel instances can be sequentially generated based on
the Gaussian process in the testing phase. We implement this new task on the
dataset of 3D point-based scenes (3DSSG and 3RScan) and evaluate the
performance of our method. Experiments show that our method generates reliable
novel graphs from the real-world point cloud and achieves state-of-the-art
performance on the benchmark dataset.
- Abstract（参考訳）: ポイントクラウドの空の部屋が与えられ、それをグラフとして表現し、新しいインスタンスを自動的に増加させます。
シーンのオブジェクトレイアウトを示すグラフが最終的に生成される。
拡張現実のような視覚ベースのアプリケーションにおいて、新しい3Dオブジェクトを現実世界のシーンに挿入する際のガイドとなるため、これは重要なタスクである。
実世界のポイントクラウドの複雑さは、観測データ(ラベル付きセマンティクスを持つ空でない部屋)からオブジェクトレイアウト体験を学ぶのに困難をもたらす。
我々は,このタスクを条件付き生成問題としてモデル化し,フローの正規化(3d-anf)に基づく3次元自己回帰フレームワークを提案する。
まず、ラベルのセマンティクスとコンテキスト関係を抽出し、ポイントクラウドをグラフとして表現する。
次に、正規化フローに基づくモデルを導入し、図形要素の条件付き生成をガウス過程にマッピングする。
写像は可逆である。
これにより、観測データに表される実世界体験をトレーニングフェーズでモデル化することができ、テストフェーズにおいてガウス過程に基づいて新たなインスタンスを順次生成することができる。
本研究では,3次元ポイントベースシーンのデータセット(3DSSG,3RScan)に新たなタスクを実装し,提案手法の性能評価を行った。
実験により,本手法は実世界のポイントクラウドから信頼性の高い新しいグラフを生成し,ベンチマークデータセットの最先端性能を実現する。
関連論文リスト
- Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。
セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文 参考訳（メタデータ） (2024-11-25T10:14:10Z) - Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。
一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文 参考訳（メタデータ） (2024-06-17T07:43:53Z) - Joint Generative Modeling of Scene Graphs and Images via Diffusion
Models [37.788957749123725]
共同シーングラフ - 画像生成という,新しい生成タスクを提案する。
本稿では,隣接行列と不均一なノードとエッジ属性を併用した新しい拡散モデルDiffuseSGを提案する。
グラフ変換器をデノイザとし、DiffuseSGは連続空間におけるシーングラフ表現を連続的にデノイズし、最終表現を識別してクリーンなシーングラフを生成する。
論文 参考訳（メタデータ） (2024-01-02T10:10:29Z) - CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph
Diffusion [83.30168660888913]
シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。
パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。
生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
論文 参考訳（メタデータ） (2023-05-25T17:39:13Z) - Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。
提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。
提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
論文 参考訳（メタデータ） (2023-05-04T11:32:16Z) - SGFormer: Semantic Graph Transformer for Point Cloud-based 3D Scene
Graph Generation [46.14140601855313]
本稿では,ポイントクラウドベースの3Dシーングラフ生成のためのSGFormer,Semantic Graph TransFormerという新しいモデルを提案する。
このタスクは、ポイントクラウドベースのシーンをセマンティックな構造グラフに解析することを目的としている。
論文 参考訳（メタデータ） (2023-03-20T11:59:23Z) - SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow [25.577386156273256]
シーンフロー推定は、連続した観察からシーンの3次元運動を見つけることを目的として、コンピュータビジョンにおける長年の課題である。
そこで本研究では,少量のデータから学習可能なシーンフロー推定手法であるSCOOPについて紹介する。
論文 参考訳（メタデータ） (2022-11-25T10:52:02Z) - Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using
Scene Graphs [85.54212143154986]
制御可能なシーン合成は、基本的な仕様を満たす3D情報を生成することで構成される。
シーングラフは、オブジェクト(ノード)とオブジェクト間の関係(エッジ)からなるシーンの表現である
本稿では,シーングラフから形状を直接エンドツーエンドに生成する手法を提案する。
論文 参考訳（メタデータ） (2021-08-19T17:59:07Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:56:12Z) - Scalable Scene Flow from Point Clouds in the Real World [30.437100097997245]
オープンデータセットに基づくシーンフローの大規模ベンチマークを新たに導入します。
実際のLiDARデータの量に基づいて、これまでの作業がバウンドされているかを示す。
フルポイントクラウド上でリアルタイム推論を提供するモデルアーキテクチャFastFlow3Dを紹介します。
論文 参考訳（メタデータ） (2021-03-01T20:56:05Z) - Semantic Graph Based Place Recognition for 3D Point Clouds [22.608115489674653]
本稿では,位置認識のためのセマンティックグラフに基づく新しいアプローチを提案する。
まず、ポイントクラウドシーンのための新しいセマンティックグラフ表現を提案する。
次に、その類似性を計算するために、高速で効果的なグラフ類似性ネットワークを設計する。
論文 参考訳（メタデータ） (2020-08-26T09:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。