論文の概要: Compositional 3D Scene Synthesis with Scene Graph Guided Layout-Shape Generation

• arxiv url: http://arxiv.org/abs/2403.12848v1
• Date: Tue, 19 Mar 2024 15:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 13:34:19.980398
• Title: Compositional 3D Scene Synthesis with Scene Graph Guided Layout-Shape Generation
• Title（参考訳）: Scene Graph Guided Layout-Shape 生成による合成3次元シーン合成
• Authors: Yao Wei, Martin Renqiang Min, George Vosselman, Li Erran Li, Michael Ying Yang,
• Abstract要約: 3Dシーンの合成は、ロボティクス、映画、ビデオゲームといった様々な産業に多様な応用がある。 本稿では,シーングラフから現実的で合理的な3Dシーンを生成することを目的とする。 統一グラフ畳み込みネットワーク(GCN)により,共同レイアウト・形状分布によって更新されたシーングラフからグラフ特徴を抽出する。
• 参考スコア（独自算出の注目度）: 31.52569918586902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional 3D scene synthesis has diverse applications across a spectrum of industries such as robotics, films, and video games, as it closely mirrors the complexity of real-world multi-object environments. Early works typically employ shape retrieval based frameworks which naturally suffer from limited shape diversity. Recent progresses have been made in shape generation with powerful generative models, such as diffusion models, which increases the shape fidelity. However, these approaches separately treat 3D shape generation and layout generation. The synthesized scenes are usually hampered by layout collision, which implies that the scene-level fidelity is still under-explored. In this paper, we aim at generating realistic and reasonable 3D scenes from scene graph. To enrich the representation capability of the given scene graph inputs, large language model is utilized to explicitly aggregate the global graph features with local relationship features. With a unified graph convolution network (GCN), graph features are extracted from scene graphs updated via joint layout-shape distribution. During scene generation, an IoU-based regularization loss is introduced to constrain the predicted 3D layouts. Benchmarked on the SG-FRONT dataset, our method achieves better 3D scene synthesis, especially in terms of scene-level fidelity. The source code will be released after publication.
• Abstract（参考訳）: 構成的な3Dシーン合成は、ロボット工学、映画、ビデオゲームなど様々な産業で応用されており、実世界のマルチオブジェクト環境の複雑さをよく反映している。 初期の作品では、自然に限られた形状の多様性に苦しむ形状検索に基づくフレームワークが一般的である。 近年では拡散モデルのような強力な生成モデルによる形状生成が進展しており、形状の忠実度が向上している。 しかし,これらの手法は3次元形状生成とレイアウト生成を別々に扱う。 合成されたシーンは、通常はレイアウトの衝突によって妨げられるため、シーンレベルの忠実度はまだ未探索である。 本稿では,シーングラフから現実的で合理的な3Dシーンを生成することを目的とする。 与えられたシーングラフ入力の表現能力を強化するために,大言語モデルを用いてグローバルグラフの特徴を局所的な関係特徴で明示的に集約する。 統一グラフ畳み込みネットワーク(GCN)により,共同レイアウト・形状分布によって更新されたシーングラフからグラフ特徴を抽出する。 シーン生成中に、予測された3次元レイアウトを制約するために、IoUベースの正規化損失を導入する。 本手法は,SG-FRONTデータセットを用いて,特にシーンレベルの忠実度の観点から,より優れた3次元シーン合成を実現する。 ソースコードは公開後に公開される。

関連論文リスト

• DreamScape: 3D Scene Creation via Gaussian Splatting joint Correlation Modeling [23.06464506261766]
  テキスト記述のみで高度に一貫した3Dシーンを作成する方法であるDreamScapeを提案する。 本手法では,シーン表現のための3次元ガウスガイドを,意味的プリミティブ(オブジェクト)とその空間変換によって構成する。 プログレッシブスケール制御は、局所オブジェクト生成中に調整され、異なるサイズと密度のオブジェクトがシーンに適応することを保証する。
  論文  参考訳（メタデータ） (2024-04-14T12:13:07Z)
• 3D scene generation from scene graphs and self-attention [51.49886604454926]
  本稿では,シーングラフとフロアプランから3次元シーンを合成する条件付き変分オートエンコーダ(cVAE)モデルを提案する。 我々は、シーン内のオブジェクト間の高レベルな関係をキャプチャするために、自己注意層の特性を利用する。
  論文  参考訳（メタデータ） (2024-04-02T12:26:17Z)
• 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
  本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。 提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
  論文  参考訳（メタデータ） (2024-03-14T14:31:22Z)
• InstructScene: Instruction-Driven 3D Indoor Scene Synthesis with Semantic Graph Prior [27.773451301040424]
  InstructSceneは、セマンティックグラフとレイアウトデコーダを統合する新しい生成フレームワークである。 本稿では,提案手法が既存の最先端手法をはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2024-02-07T10:09:00Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using Scene Graphs [85.54212143154986]
  制御可能なシーン合成は、基本的な仕様を満たす3D情報を生成することで構成される。 シーングラフは、オブジェクト(ノード)とオブジェクト間の関係(エッジ)からなるシーンの表現である 本稿では,シーングラフから形状を直接エンドツーエンドに生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-19T17:59:07Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。