論文の概要: Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using Scene Graphs

• arxiv url: http://arxiv.org/abs/2108.08841v1
• Date: Thu, 19 Aug 2021 17:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 14:27:29.108520
• Title: Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using Scene Graphs
• Title（参考訳）: Graph-to-3D: シーングラフを用いた3次元シーンの生成と操作
• Authors: Helisa Dhamo, Fabian Manhardt, Nassir Navab, Federico Tombari
• Abstract要約: 制御可能なシーン合成は、基本的な仕様を満たす3D情報を生成することで構成される。 シーングラフは、オブジェクト(ノード)とオブジェクト間の関係(エッジ)からなるシーンの表現である 本稿では,シーングラフから形状を直接エンドツーエンドに生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 85.54212143154986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controllable scene synthesis consists of generating 3D information that satisfy underlying specifications. Thereby, these specifications should be abstract, i.e. allowing easy user interaction, whilst providing enough interface for detailed control. Scene graphs are representations of a scene, composed of objects (nodes) and inter-object relationships (edges), proven to be particularly suited for this task, as they allow for semantic control on the generated content. Previous works tackling this task often rely on synthetic data, and retrieve object meshes, which naturally limits the generation capabilities. To circumvent this issue, we instead propose the first work that directly generates shapes from a scene graph in an end-to-end manner. In addition, we show that the same model supports scene modification, using the respective scene graph as interface. Leveraging Graph Convolutional Networks (GCN) we train a variational Auto-Encoder on top of the object and edge categories, as well as 3D shapes and scene layouts, allowing latter sampling of new scenes and shapes.
• Abstract（参考訳）: 制御可能なシーン合成は、基礎となる仕様を満たす3d情報を生成する。 したがって、これらの仕様は抽象的でなければならない。 ユーザとの対話が簡単で、詳細なコントロールのためのインターフェースを提供する。 シーングラフは、オブジェクト(ノード)とオブジェクト間の関係(エッジ)で構成されるシーンの表現であり、生成されたコンテンツに対する意味制御を可能にするため、このタスクに特に適していることが証明されている。 このタスクに対処する以前の作業は、しばしば合成データに依存し、オブジェクトメッシュを取得して、生成能力を自然に制限する。 この問題を回避するために,シーングラフからエンドツーエンドで形状を直接生成する最初の作品を提案する。 さらに,各シーングラフをインターフェースとして,同じモデルがシーン修正をサポートすることを示す。 Graph Convolutional Networks (GCN)を活用することで、オブジェクトとエッジのカテゴリに加えて、3Dの形状とシーンレイアウトをトレーニングし、新しいシーンと形状のサンプリングを可能にします。

関連論文リスト

• GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs [74.98581417902201]
  シーングラフから合成3Dシーンを生成するための新しいフレームワークを提案する。 シーングラフにおけるノード情報とエッジ情報を活用することにより,事前学習したテキスト・画像拡散モデルをよりよく活用する。 GraphDreamerの有効性を検証するために,定性的および定量的な実験を行った。
  論文  参考訳（メタデータ） (2023-11-30T18:59:58Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• Unconditional Scene Graph Generation [72.53624470737712]
  我々はラベル付きおよび有向グラフ上の確率分布を学習できるSceneGraphGenと呼ばれる深層自己回帰モデルを開発した。 SceneGraphGenによって生成されたシーングラフは多様であり、実世界のシーンのセマンティックなパターンに従う。
  論文  参考訳（メタデータ） (2021-08-12T17:57:16Z)
• SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences [76.28527350263012]
  rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。 我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。 提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
  論文  参考訳（メタデータ） (2021-03-27T13:00:36Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。