論文の概要: Graph Canvas for Controllable 3D Scene Generation

• arxiv url: http://arxiv.org/abs/2412.00091v2
• Date: Fri, 06 Dec 2024 02:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:54:05.155238
• Title: Graph Canvas for Controllable 3D Scene Generation
• Title（参考訳）: 制御可能な3次元シーン生成のためのグラフキャンバス
• Authors: Libin Liu, Shen Chen, Sen Jia, Jingzhe Shi, Zhongyu Jiang, Can Jin, Wu Zongkai, Jenq-Neng Hwang, Lei Li,
• Abstract要約: GraphCanvas3Dは、制御可能な3Dシーン生成のためのプログラム可能、空間的、適応可能なフレームワークである。 本フレームワークでは,空間要素をグラフノードとして表現する階層的,グラフ駆動的なシーン記述を用いている。 GraphCanvas3Dは4Dシーン生成をサポートし、時間とともに変化する変化をモデル化するために時間的ダイナミクスを取り入れている。
• 参考スコア（独自算出の注目度）: 31.10796079991428
• License:
• Abstract: Spatial intelligence is foundational to AI systems that interact with the physical world, particularly in 3D scene generation and spatial comprehension. Current methodologies for 3D scene generation often rely heavily on predefined datasets, and struggle to adapt dynamically to changing spatial relationships. In this paper, we introduce GraphCanvas3D, a programmable, extensible, and adaptable framework for controllable 3D scene generation. Leveraging in-context learning, GraphCanvas3D enables dynamic adaptability without the need for retraining, supporting flexible and customizable scene creation. Our framework employs hierarchical, graph-driven scene descriptions, representing spatial elements as graph nodes and establishing coherent relationships among objects in 3D environments. Unlike conventional approaches, which are constrained in adaptability and often require predefined input masks or retraining for modifications, GraphCanvas3D allows for seamless object manipulation and scene adjustments on the fly. Additionally, GraphCanvas3D supports 4D scene generation, incorporating temporal dynamics to model changes over time. Experimental results and user studies demonstrate that GraphCanvas3D enhances usability, flexibility, and adaptability for scene generation. Our code and models are available on the project website: https://github.com/ILGLJ/Graph-Canvas.
• Abstract（参考訳）: 空間知能は、特に3Dシーン生成と空間理解において、物理的な世界と相互作用するAIシステムの基礎となる。 3Dシーン生成の現在の手法は、しばしば事前に定義されたデータセットに大きく依存し、空間的関係の変化に動的に適応するのに苦労する。 本稿では,プログラム可能,拡張可能,適応可能な3Dシーン生成フレームワークであるGraphCanvas3Dを紹介する。 コンテキスト内学習を活用することで、GraphCanvas3Dは、リトレーニングを必要とせず、動的適応性を実現し、フレキシブルでカスタマイズ可能なシーン生成をサポートする。 本フレームワークでは,空間要素をグラフノードとして表現し,オブジェクト間のコヒーレントな関係を3次元環境内に確立する。 適応性に制約があり、事前に定義された入力マスクや修正の再トレーニングを必要とする従来のアプローチとは異なり、GraphCanvas3Dはシームレスなオブジェクト操作とシーン調整をオンザフライで可能にする。 さらに、GraphCanvas3Dは4Dシーン生成をサポートし、時間とともに変化する変化をモデル化するために時間的ダイナミクスを取り入れている。 実験結果とユーザスタディにより、GraphCanvas3Dはシーン生成のユーザビリティ、柔軟性、適応性を向上することが示された。 私たちのコードとモデルは、プロジェクトのWebサイト(https://github.com/ILGLJ/Graph-Canvas)で公開されています。

関連論文リスト

• ESGNN: Towards Equivariant Scene Graph Neural Network for 3D Scene Understanding [2.5165775267615205]
  この研究は、シーン理解のために3Dポイントクラウドからセマンティックシーングラフを生成するために、Equivariant Graph Neural Networkを実装した最初のものである。 提案手法であるESGNNは、既存の最先端手法よりも優れており、より高速な収束によるシーン推定の大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-06-30T06:58:04Z)
• 3D scene generation from scene graphs and self-attention [51.49886604454926]
  本稿では,シーングラフとフロアプランから3次元シーンを合成する条件付き変分オートエンコーダ(cVAE)モデルを提案する。 我々は、シーン内のオブジェクト間の高レベルな関係をキャプチャするために、自己注意層の特性を利用する。
  論文  参考訳（メタデータ） (2024-04-02T12:26:17Z)
• Planner3D: LLM-enhanced graph prior meets 3D indoor scene explicit regularization [31.52569918586902]
  3Dシーンの合成は、ロボティクス、映画、ビデオゲームといった様々な産業に多様な応用がある。 本稿では,シーングラフからリアルで合理的な屋内シーンを生成することを目的とする。 本手法は,特にシーンレベルの忠実度の観点から,より優れた3次元シーン合成を実現する。
  論文  参考訳（メタデータ） (2024-03-19T15:54:48Z)
• DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields [96.0858117473902]
  3Dトーン化には、テクスチャ化された幾何学とテクスチャで、アートドメインのスタイルをターゲットの3D顔に転送することが含まれる。 階層型3D GANに適した効果的なトーン化フレームワークであるDeformToon3Dを提案する。 提案手法は3次元トーン化を幾何学とテクスチャスタイリングのサブプロブレムに分解し,元の潜伏空間をよりよく保存する。
  論文  参考訳（メタデータ） (2023-09-08T16:17:45Z)
• CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion [83.30168660888913]
  シーングラフを対応する制御可能な3Dシーンに変換する完全生成モデルであるCommonScenesを提案する。 パイプラインは2つのブランチで構成されており、1つは変分オートエンコーダでシーン全体のレイアウトを予測し、もう1つは互換性のある形状を生成する。 生成されたシーンは、入力シーングラフを編集し、拡散モデルのノイズをサンプリングすることで操作することができる。
  論文  参考訳（メタデータ） (2023-05-25T17:39:13Z)
• SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
  3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-28T14:39:22Z)
• Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using Scene Graphs [85.54212143154986]
  制御可能なシーン合成は、基本的な仕様を満たす3D情報を生成することで構成される。 シーングラフは、オブジェクト(ノード)とオブジェクト間の関係(エッジ)からなるシーンの表現である 本稿では,シーングラフから形状を直接エンドツーエンドに生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-19T17:59:07Z)
• Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
  我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。 本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。 本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
  論文  参考訳（メタデータ） (2020-04-08T12:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。