論文の概要: Cyc3D: Fine-grained Controllable 3D Generation via Cycle Consistency Regularization
- arxiv url: http://arxiv.org/abs/2504.14975v1
- Date: Mon, 21 Apr 2025 09:05:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 18:49:25.665127
- Title: Cyc3D: Fine-grained Controllable 3D Generation via Cycle Consistency Regularization
- Title（参考訳）: Cyc3D: サイクル整合規則化によるきめ細かい制御可能な3D生成
- Authors: Hongbin Xu, Chaohui Yu, Feng Xiao, Jiazheng Xing, Hai Ci, Weitao Chen, Ming Li,
- Abstract要約: nameは、生成された3Dコンテンツと入力制御の間の循環的な一貫性を促進することで、制御可能な3D生成を促進する。
emphViewの一貫性は、2つの生成された3Dオブジェクト間のコヒーレンスを保証する。
emphCondition整合性は、最終的な抽出信号と元の入力制御とを整合させ、構造的または幾何学的詳細を保存する。
- 参考スコア（独自算出の注目度）: 16.157989435669656
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the remarkable progress of 3D generation, achieving controllability, i.e., ensuring consistency between generated 3D content and input conditions like edge and depth, remains a significant challenge. Existing methods often struggle to maintain accurate alignment, leading to noticeable discrepancies. To address this issue, we propose \name{}, a new framework that enhances controllable 3D generation by explicitly encouraging cyclic consistency between the second-order 3D content, generated based on extracted signals from the first-order generation, and its original input controls. Specifically, we employ an efficient feed-forward backbone that can generate a 3D object from an input condition and a text prompt. Given an initial viewpoint and a control signal, a novel view is rendered from the generated 3D content, from which the extracted condition is used to regenerate the 3D content. This re-generated output is then rendered back to the initial viewpoint, followed by another round of control signal extraction, forming a cyclic process with two consistency constraints. \emph{View consistency} ensures coherence between the two generated 3D objects, measured by semantic similarity to accommodate generative diversity. \emph{Condition consistency} aligns the final extracted signal with the original input control, preserving structural or geometric details throughout the process. Extensive experiments on popular benchmarks demonstrate that \name{} significantly improves controllability, especially for fine-grained details, outperforming existing methods across various conditions (e.g., +14.17\% PSNR for edge, +6.26\% PSNR for sketch).
- Abstract（参考訳）: 3D生成の顕著な進歩にもかかわらず、制御性、すなわち生成された3Dコンテンツとエッジや深さのような入力条件との整合性を確保することは、依然として大きな課題である。
既存の手法は、しばしば正確なアライメントを維持するのに苦労し、顕著な相違をもたらす。
この問題に対処するために,第1次生成から抽出した信号に基づいて生成された第2次3Dコンテンツ間の循環的一貫性を明示的に促進し,制御可能な3D生成を向上する新しいフレームワークである \name{} を提案する。
具体的には、入力条件とテキストプロンプトから3Dオブジェクトを生成することができる効率的なフィードフォワードバックボーンを用いる。
初期視点及び制御信号が与えられた後、生成された3Dコンテンツから新たなビューを描画し、抽出された条件を用いて3Dコンテンツを再生する。
この再生成された出力は、最初の視点に戻され、次に別のラウンドの制御信号が抽出され、2つの一貫性の制約のある循環プロセスが形成される。
\emph{View consistency} は、2つの生成された3Dオブジェクト間のコヒーレンスを保証する。
\emph{Condition consistency} は、最終的な抽出信号と元の入力制御とを一致させ、プロセス全体を通して構造的または幾何学的詳細を保存する。
人気のあるベンチマークに関する大規模な実験では、特に細かな詳細については、既存の手法を様々な条件(例えば、エッジでは+14.17\% PSNR、スケッチでは+6.26\% PSNR)で上回っている。
関連論文リスト
- Dragen3D: Multiview Geometry Consistent 3D Gaussian Generation with Drag-Based Control [2.5031284037888395]
Dragen3Dは、幾何学的に一貫した制御可能な3D生成を実現する新しいアプローチである。
Anchor-Gaussian Variational Autoencoder (Anchor-GS VAE)を導入し、点雲と1つのイメージをアンカー潜水器にエンコードし、これらの潜水器を3DGSにデコードする。
我々の知る限りでは、幾何学的に制御可能な3Dガウス生成と編集を初めて達成した人物である。
論文 参考訳（メタデータ） (2025-02-23T07:19:03Z) - F3D-Gaus: Feed-forward 3D-aware Generation on ImageNet with Cycle-Aggregative Gaussian Splatting [35.625593119642424]
本稿では,モノケプラーデータセットから3次元認識を一般化する問題に取り組む。
画素整列型ガウススプラッティングに基づく新しいフィードフォワードパイプラインを提案する。
また,学習した3次元表現において,クロスビューの一貫性を強制する自己教師付きサイクル集約的制約を導入する。
論文 参考訳（メタデータ） (2025-01-12T04:44:44Z) - T-3DGS: Removing Transient Objects for 3D Scene Reconstruction [83.05271859398779]
映像シーケンスにおける過渡的オブジェクトは、3Dシーン再構成の品質を著しく低下させる可能性がある。
我々は,ガウススプラッティングを用いた3次元再構成において,過渡的障害を頑健に除去する新しいフレームワークT-3DGSを提案する。
論文 参考訳（メタデータ） (2024-11-29T07:45:24Z) - GaussianAnything: Interactive Point Cloud Flow Matching For 3D Object Generation [75.39457097832113]
本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。
本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。
提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,単一画像入力を可能にする。
論文 参考訳（メタデータ） (2024-11-12T18:59:32Z) - ControLRM: Fast and Controllable 3D Generation via Large Reconstruction Model [36.34976357766257]
高速かつ制御可能な3D生成のためのエンドツーエンドフィードフォワードモデルであるControLRMを紹介する。
ControLRMは、2Dコンディションジェネレータ、コンディションエンコーディングトランス、トリプレーンデコーダトランスを備える。
条件訓練部では, トリプレーンデコーダをロックし, LRM内の数百万の3Dデータで事前訓練されたディープ・ロバストな符号化層を再利用する。
画像訓練部では, 3次元デコーダをアンロックして2次元表現と3次元表現の間に暗黙のアライメントを確立する。
論文 参考訳（メタデータ） (2024-10-12T16:47:20Z) - Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation [27.43973967994717]
MT3Dは高忠実度3Dオブジェクトを利用して視点バイアスを克服するテキスト・ツー・3D生成モデルである。
3Dアセットから幾何学的詳細を取り入れることで、MT3Dは多様で幾何学的に一貫したオブジェクトを作成することができる。
論文 参考訳（メタデータ） (2024-08-12T06:25:44Z) - VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。
PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。
そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
論文 参考訳（メタデータ） (2024-06-21T08:21:52Z) - NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。
本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-27T04:09:34Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2024-03-14T07:39:59Z) - LucidDreaming: Controllable Object-Centric 3D Generation [10.646855651524387]
本稿では,テキストプロンプトコマンドや3Dバウンディングボックスのみから3次元生成を空間的,数値的に制御できるパイプラインを提案する。
LucidDreamingは、現在のアプローチと比較して、オブジェクトの配置精度と生成精度において優れた結果を得る。
論文 参考訳（メタデータ） (2023-11-30T18:55:23Z) - CGOF++: Controllable 3D Face Synthesis with Conditional Generative
Occupancy Fields [52.14985242487535]
生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。
中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。
提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
論文 参考訳（メタデータ） (2022-11-23T19:02:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。