論文の概要: Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

• arxiv url: http://arxiv.org/abs/2405.08054v1
• Date: Mon, 13 May 2024 17:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 16:06:44.616594
• Title: Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning
• Title（参考訳）: Coin3D: Proxy-Guided Conditioningによる制御可能でインタラクティブな3Dアセット生成
• Authors: Wenqi Dong, Bangbang Yang, Lin Ma, Xiao Liu, Liyuan Cui, Hujun Bao, Yuewen Ma, Zhaopeng Cui,
• Abstract要約: Coin3Dを使えば、ユーザーは基本的な形状から組み立てられた粗い幾何学的プロキシを使って3D生成を制御できる。 本手法は,3次元アセット生成タスクにおいて,制御性と柔軟性に優れる。
• 参考スコア（独自算出の注目度）: 52.81032340916171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As humans, we aspire to create media content that is both freely willed and readily controlled. Thanks to the prominent development of generative techniques, we now can easily utilize 2D diffusion methods to synthesize images controlled by raw sketch or designated human poses, and even progressively edit/regenerate local regions with masked inpainting. However, similar workflows in 3D modeling tasks are still unavailable due to the lack of controllability and efficiency in 3D generation. In this paper, we present a novel controllable and interactive 3D assets modeling framework, named Coin3D. Coin3D allows users to control the 3D generation using a coarse geometry proxy assembled from basic shapes, and introduces an interactive generation workflow to support seamless local part editing while delivering responsive 3D object previewing within a few seconds. To this end, we develop several techniques, including the 3D adapter that applies volumetric coarse shape control to the diffusion model, proxy-bounded editing strategy for precise part editing, progressive volume cache to support responsive preview, and volume-SDS to ensure consistent mesh reconstruction. Extensive experiments of interactive generation and editing on diverse shape proxies demonstrate that our method achieves superior controllability and flexibility in the 3D assets generation task.
• Abstract（参考訳）: 人間として、自由で自由にコントロールできるメディアコンテンツを作りたいと考えています。 生成技術の発達により、2次元拡散法を利用して生のスケッチや指定された人間のポーズによって制御された画像の合成や、マスクによる着色による局所の編集・再生も容易に行えるようになった。 しかし、3Dモデリングタスクにおける同様のワークフローは、3D生成における制御性や効率性の欠如のため、まだ利用できない。 本稿では,Coin3Dという新しい制御可能なインタラクティブな3Dアセットモデリングフレームワークを提案する。 Coin3Dは、ユーザーは基本的な形状から組み立てられた粗い幾何学的プロキシを使用して3D生成を制御することができ、インタラクティブな生成ワークフローを導入し、シームレスなローカル部分編集をサポートし、応答性のある3Dオブジェクトのプレビューを数秒で提供できる。 この目的のために、拡散モデルに体積粗い形状制御を適用する3Dアダプタ、精密部分編集のためのプロキシ境界編集戦略、応答性プレビューをサポートするプログレッシブボリュームキャッシュ、一貫したメッシュ再構成を保証するボリュームSDSなどを開発した。 多様な形状のプロキシ上でのインタラクティブな生成と編集の広範囲な実験により,本手法は3次元アセット生成タスクにおいて,制御性と柔軟性に優れることを示した。

関連論文リスト

• Manipulating Vehicle 3D Shapes through Latent Space Editing [0.0]
  本稿では,車載3Dモデルに対する連続的,高精度,属性特異的な修正を可能にする,事前学習型回帰器を用いたフレームワークを提案する。 提案手法は,車両3Dオブジェクトの固有性を保持するだけでなく,多属性編集もサポートしており,モデルの構造的整合性を損なうことなく,広範囲のカスタマイズが可能となる。
  論文  参考訳（メタデータ） (2024-10-31T13:41:16Z)
• iControl3D: An Interactive System for Controllable 3D Scene Generation [57.048647153684485]
  iControl3Dは、ユーザがカスタマイズ可能な3Dシーンを正確なコントロールで生成およびレンダリングできるようにする、新しいインタラクティブシステムである。 我々は3Dメッシュを仲介プロキシとして利用し、個別の2D拡散生成画像を結合的で統一された3Dシーン表現に反復的にマージする。 私たちのニューラルレンダリングインターフェースは、ユーザが自分のシーンのラディアンスフィールドをオンラインで構築し、シーン全体をナビゲートすることを可能にする。
  論文  参考訳（メタデータ） (2024-08-03T06:35:09Z)
• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• Interactive3D: Create What You Want by Interactive 3D Generation [13.003964182554572]
  我々はインタラクティブな3D生成のための革新的なフレームワークであるInteractive3Dを紹介した。 実験の結果,Interactive3Dは3D生成の制御性と品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-25T11:06:57Z)
• Controllable Text-to-3D Generation via Surface-Aligned Gaussian Splatting [9.383423119196408]
  本稿では,既存の多視点拡散モデルを強化するために設計されたニューラルネットワークアーキテクチャであるMulti-view ControlNet(MVControl)を紹介する。 MVControlは最適化ベースの3D生成のための3D拡散ガイダンスを提供することができる。 効率性を追求するために、一般的に使用される暗黙の表現の代わりに、3Dガウスを表現として採用する。
  論文  参考訳（メタデータ） (2024-03-15T02:57:20Z)
• SERF: Fine-Grained Interactive 3D Segmentation and Editing with Radiance Fields [92.14328581392633]
  放射場を用いた対話型3Dセグメンテーションと編集アルゴリズムを新たに導入し,これをSERFと呼ぶ。 提案手法では,マルチビューアルゴリズムと事前学習した2Dモデルを統合することにより,ニューラルネットワーク表現を生成する。 この表現に基づいて,局所的な情報を保存し,変形に頑健な新しい表面レンダリング技術を導入する。
  論文  参考訳（メタデータ） (2023-12-26T02:50:42Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
  本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。 グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-07-24T19:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。