論文の概要: Interactive3D: Create What You Want by Interactive 3D Generation
- arxiv url: http://arxiv.org/abs/2404.16510v1
- Date: Thu, 25 Apr 2024 11:06:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 13:59:41.149608
- Title: Interactive3D: Create What You Want by Interactive 3D Generation
- Title(参考訳): Interactive3D:インタラクティブな3D生成で欲しいものを作る
- Authors: Shaocong Dong, Lihe Ding, Zhanpeng Huang, Zibin Wang, Tianfan Xue, Dan Xu,
- Abstract要約: 我々はインタラクティブな3D生成のための革新的なフレームワークであるInteractive3Dを紹介した。
実験の結果,Interactive3Dは3D生成の制御性と品質を著しく向上させることがわかった。
- 参考スコア(独自算出の注目度): 13.003964182554572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D object generation has undergone significant advancements, yielding high-quality results. However, fall short of achieving precise user control, often yielding results that do not align with user expectations, thus limiting their applicability. User-envisioning 3D object generation faces significant challenges in realizing its concepts using current generative models due to limited interaction capabilities. Existing methods mainly offer two approaches: (i) interpreting textual instructions with constrained controllability, or (ii) reconstructing 3D objects from 2D images. Both of them limit customization to the confines of the 2D reference and potentially introduce undesirable artifacts during the 3D lifting process, restricting the scope for direct and versatile 3D modifications. In this work, we introduce Interactive3D, an innovative framework for interactive 3D generation that grants users precise control over the generative process through extensive 3D interaction capabilities. Interactive3D is constructed in two cascading stages, utilizing distinct 3D representations. The first stage employs Gaussian Splatting for direct user interaction, allowing modifications and guidance of the generative direction at any intermediate step through (i) Adding and Removing components, (ii) Deformable and Rigid Dragging, (iii) Geometric Transformations, and (iv) Semantic Editing. Subsequently, the Gaussian splats are transformed into InstantNGP. We introduce a novel (v) Interactive Hash Refinement module to further add details and extract the geometry in the second stage. Our experiments demonstrate that Interactive3D markedly improves the controllability and quality of 3D generation. Our project webpage is available at \url{https://interactive-3d.github.io/}.
- Abstract(参考訳): 3Dオブジェクト生成は大幅に進歩し、高品質な結果を得た。
しかし、正確なユーザコントロールを達成するには足りず、多くの場合、ユーザの期待に合わない結果をもたらし、適用性を制限する。
ユーザビジョンの3Dオブジェクト生成は、インタラクション能力の制限により、現在の生成モデルを使用してその概念を実現する上で大きな課題に直面します。
既存の手法は主に2つのアプローチを提供する。
一 制限された可制御性のある文言を解釈すること。
(II)2次元画像から3次元オブジェクトを再構成する。
どちらも2D参照の制限にカスタマイズを制限し、3Dリフトプロセス中に望ましくないアーティファクトを導入する可能性があり、直接的かつ汎用的な3D修正のスコープを制限する。
本稿では,対話型3D生成のための革新的なフレームワークであるInteractive3Dを紹介する。
Interactive3Dは2つのカスケード段階で構築され、異なる3D表現を利用する。
第1段階では、直接ユーザインタラクションにガウススプラッティングを採用し、任意の中間ステップにおける生成方向の変更とガイダンスを可能にする。
一 部品の追加及び取り除くこと。
(二)変形性及び剛性ドラギング
(三)幾何変換、及び
(4)セマンティック編集。
その後、ガウスプレートはInstantNGPに変換される。
小説を紹介する
(v)インタラクティブハッシュリファインメントモジュールは、詳細を追加し、第2段階の幾何学を抽出する。
実験の結果,Interactive3Dは3D生成の制御性と品質を著しく向上させることがわかった。
プロジェクトのWebページは \url{https://interactive-3d.github.io/} で公開されている。
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided
Generative Gaussian Splatting [54.39663556987393]
GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。
GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
論文 参考訳(メタデータ) (2024-02-11T13:40:08Z) - Retrieval-Augmented Score Distillation for Text-to-3D Generation [32.105318004273]
テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。
我々はRetDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
論文 参考訳(メタデータ) (2024-02-05T12:50:30Z) - SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance
Fields [97.63648347686456]
放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。
提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。
この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
論文 参考訳(メタデータ) (2023-12-26T02:50:42Z) - LucidDreaming: Controllable Object-Centric 3D Generation [11.965998779054079]
我々は3次元生成をきめ細かな制御が可能な効果的パイプラインとしてLucidDreamingを提案する。
単純なテキストプロンプトから推論できる3Dバウンディングボックスの最小限の入力しか必要としない。
本稿では,本手法が主流のScore Distillation Smplingベースの3D生成フレームワークのスペクトルに対して顕著な適応性を示すことを示す。
論文 参考訳(メタデータ) (2023-11-30T18:55:23Z) - 3D-GPT: Procedural 3D Modeling with Large Language Models [50.57513088909881]
命令駆動3Dモデリングのための大規模言語モデル(LLM)を利用するフレームワークである3D-GPTを紹介する。
3D-GPTは、3Dモデリングタスクをアクセス可能なセグメントに分割し、各タスクにアプエージェントを割り当てる。
我々の実証調査では、3D-GPTが解釈し、指示を実行し、信頼性の高い結果を提供するだけでなく、人間デザイナーと効果的に協力することを確認した。
論文 参考訳(メタデータ) (2023-10-19T17:41:48Z) - Articulated 3D Head Avatar Generation using Text-to-Image Diffusion
Models [107.84324544272481]
多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。
テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。
拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-10T19:15:32Z) - Lift3D: Synthesize 3D Training Data by Lifting 2D GAN to 3D Generative
Radiance Field [16.15190186574068]
データ生成の目的を達成するために,逆2D-to-3D生成フレームワークであるLift3Dを提案する。
2D GANを3DオブジェクトNeRFに持ち上げることで、Lift3Dは生成されたオブジェクトの明示的な3D情報を提供する。
我々は、自律運転データセットを増強することで、我々のフレームワークの有効性を評価する。
論文 参考訳(メタデータ) (2023-04-07T07:43:02Z) - Next3D: Generative Neural Texture Rasterization for 3D-Aware Head
Avatars [36.4402388864691]
3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。
最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。
本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-21T06:40:46Z) - Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。
当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
論文 参考訳(メタデータ) (2020-08-24T21:51:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。