論文の概要: iControl3D: An Interactive System for Controllable 3D Scene Generation
- arxiv url: http://arxiv.org/abs/2408.01678v1
- Date: Sat, 3 Aug 2024 06:35:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 19:00:53.304826
- Title: iControl3D: An Interactive System for Controllable 3D Scene Generation
- Title（参考訳）: iControl3D:制御可能な3Dシーン生成のためのインタラクティブシステム
- Authors: Xingyi Li, Yizheng Wu, Jun Cen, Juewen Peng, Kewei Wang, Ke Xian, Zhe Wang, Zhiguo Cao, Guosheng Lin,
- Abstract要約: iControl3Dは、ユーザがカスタマイズ可能な3Dシーンを正確なコントロールで生成およびレンダリングできるようにする、新しいインタラクティブシステムである。
我々は3Dメッシュを仲介プロキシとして利用し、個別の2D拡散生成画像を結合的で統一された3Dシーン表現に反復的にマージする。
私たちのニューラルレンダリングインターフェースは、ユーザが自分のシーンのラディアンスフィールドをオンラインで構築し、シーン全体をナビゲートすることを可能にする。
- 参考スコア（独自算出の注目度）: 57.048647153684485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D content creation has long been a complex and time-consuming process, often requiring specialized skills and resources. While recent advancements have allowed for text-guided 3D object and scene generation, they still fall short of providing sufficient control over the generation process, leading to a gap between the user's creative vision and the generated results. In this paper, we present iControl3D, a novel interactive system that empowers users to generate and render customizable 3D scenes with precise control. To this end, a 3D creator interface has been developed to provide users with fine-grained control over the creation process. Technically, we leverage 3D meshes as an intermediary proxy to iteratively merge individual 2D diffusion-generated images into a cohesive and unified 3D scene representation. To ensure seamless integration of 3D meshes, we propose to perform boundary-aware depth alignment before fusing the newly generated mesh with the existing one in 3D space. Additionally, to effectively manage depth discrepancies between remote content and foreground, we propose to model remote content separately with an environment map instead of 3D meshes. Finally, our neural rendering interface enables users to build a radiance field of their scene online and navigate the entire scene. Extensive experiments have been conducted to demonstrate the effectiveness of our system. The code will be made available at https://github.com/xingyi-li/iControl3D.
- Abstract（参考訳）: 3Dコンテンツ作成は長い間複雑で時間を要するプロセスであり、しばしば専門的なスキルとリソースを必要としています。
近年の進歩により、テキスト誘導された3Dオブジェクトとシーン生成が可能になったが、生成プロセスに対する十分な制御が得られず、ユーザの創造的ビジョンと生成された結果とのギャップが生じた。
本稿では,ユーザがカスタマイズ可能な3Dシーンを正確な制御で生成・レンダリングできるようにする,新しいインタラクティブシステムiControl3Dを提案する。
この目的のために、3Dクリエーターインタフェースが開発され、作成プロセスのきめ細かい制御がユーザに提供する。
技術的には、3Dメッシュを仲介プロキシとして利用し、個々の2D拡散生成画像を結合的で統一された3Dシーン表現に反復的にマージする。
3Dメッシュのシームレスな統合を保証するため,新たに生成されたメッシュと既存のメッシュを3D空間に融合する前に境界認識深度アライメントを行うことを提案する。
さらに, リモートコンテンツと前景の深度差を効果的に管理するために, 3次元メッシュの代わりに環境マップを用いて, リモートコンテンツを別々にモデル化することを提案する。
最後に、私たちのニューラルレンダリングインターフェースは、ユーザが自分のシーンの放射場をオンラインで構築し、シーン全体をナビゲートすることを可能にする。
本システムの有効性を実証するために大規模な実験を行った。
コードはhttps://github.com/xingyi-li/iControl3Dで公開される。
関連論文リスト
- SceneCraft: Layout-Guided 3D Scene Generation [29.713491313796084]
シーンクラフト(SceneCraft)は、テキスト記述や空間的レイアウトの好みに則った、室内の詳細なシーンを生成する新しい方法である。
本手法は,多様なテクスチャ,一貫した幾何,現実的な視覚的品質を有する複雑な屋内シーン生成において,既存のアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2024-10-11T17:59:58Z) - Chat-Edit-3D: Interactive 3D Scene Editing via Text Prompts [76.73043724587679]
CE3Dと呼ばれる対話型3Dシーン編集手法を提案する。
Hash-Atlasは3Dシーンビューを表し、3Dシーンの編集を2Dアトラスイメージに転送する。
その結果、CE3Dは複数の視覚モデルを効果的に統合し、多様な視覚効果が得られることを示した。
論文 参考訳（メタデータ） (2024-07-09T13:24:42Z) - Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning [52.81032340916171]
Coin3Dを使えば、ユーザーは基本的な形状から組み立てられた粗い幾何学的プロキシを使って3D生成を制御できる。
本手法は,3次元アセット生成タスクにおいて,制御性と柔軟性に優れる。
論文 参考訳（メタデータ） (2024-05-13T17:56:13Z) - Interactive3D: Create What You Want by Interactive 3D Generation [13.003964182554572]
我々はインタラクティブな3D生成のための革新的なフレームワークであるInteractive3Dを紹介した。
実験の結果,Interactive3Dは3D生成の制御性と品質を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2024-04-25T11:06:57Z) - 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳（メタデータ） (2024-03-14T14:31:22Z) - GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。
GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
論文 参考訳（メタデータ） (2024-02-11T13:40:08Z) - SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。
テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
論文 参考訳（メタデータ） (2023-12-13T18:59:30Z) - LucidDreaming: Controllable Object-Centric 3D Generation [10.646855651524387]
本稿では,テキストプロンプトコマンドや3Dバウンディングボックスのみから3次元生成を空間的,数値的に制御できるパイプラインを提案する。
LucidDreamingは、現在のアプローチと比較して、オブジェクトの配置精度と生成精度において優れた結果を得る。
論文 参考訳（メタデータ） (2023-11-30T18:55:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。