論文の概要: GECO: Generative Image-to-3D within a SECOnd
- arxiv url: http://arxiv.org/abs/2405.20327v2
- Date: Tue, 20 Aug 2024 03:54:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 19:49:55.071775
- Title: GECO: Generative Image-to-3D within a SECOnd
- Title(参考訳): GECO:SECOnd内の3D画像生成
- Authors: Chen Wang, Jiatao Gu, Xiaoxiao Long, Yuan Liu, Lingjie Liu,
- Abstract要約: 本稿では,1秒以内に動作する高品質な3次元生成モデリング手法GECOを紹介する。
GECOは、前例のないレベルの効率で高品質な3Dメッシュ生成を実現する。
- 参考スコア(独自算出の注目度): 51.20830808525894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent years have seen significant advancements in 3D generation. While methods like score distillation achieve impressive results, they often require extensive per-scene optimization, which limits their time efficiency. On the other hand, reconstruction-based approaches are more efficient but tend to compromise quality due to their limited ability to handle uncertainty. We introduce GECO, a novel method for high-quality 3D generative modeling that operates within a second. Our approach addresses the prevalent issues of uncertainty and inefficiency in existing methods through a two-stage approach. In the first stage, we train a single-step multi-view generative model with score distillation. Then, a second-stage distillation is applied to address the challenge of view inconsistency in the multi-view generation. This two-stage process ensures a balanced approach to 3D generation, optimizing both quality and efficiency. Our comprehensive experiments demonstrate that GECO achieves high-quality image-to-3D mesh generation with an unprecedented level of efficiency. We will make the code and model publicly available.
- Abstract(参考訳): 近年では3D世代が著しく進歩している。
スコア蒸留のような手法は印象的な結果をもたらすが、多くの場合、時間効率を制限したシーンごとの最適化が必要である。
一方、再構築に基づくアプローチはより効率的であるが、不確実性に対処する能力に制限があるため、品質を損なう傾向がある。
本稿では,1秒以内に動作する高品質な3次元生成モデリング手法GECOを紹介する。
提案手法は,既存の手法における不確実性と非効率性の問題を2段階のアプローチで解決する。
第1段階では,スコア蒸留を用いた一段階多視点生成モデルを訓練する。
次に,多視点世代における視点の不整合に対処するため,第2段蒸留を適用した。
この2段階のプロセスは、3D生成に対するバランスの取れたアプローチを確保し、品質と効率の両方を最適化する。
包括的実験により,GECOは前例のない効率で高品質な画像-3Dメッシュ生成を実現することが示された。
コードとモデルを公開します。
関連論文リスト
- VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。
PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。
そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
論文 参考訳(メタデータ) (2024-06-21T08:21:52Z) - MVHuman: Tailoring 2D Diffusion with Multi-view Sampling For Realistic
3D Human Generation [45.88714821939144]
テキスト誘導から人間の放射界を生成するためのMVHumanという代替スキームを提案する。
我々のコアは、一貫したマルチビュー画像を生成するための事前学習されたネットワークのデノイングプロセスを調整するためのマルチビューサンプリング戦略である。
論文 参考訳(メタデータ) (2023-12-15T11:56:26Z) - Learn to Optimize Denoising Scores for 3D Generation: A Unified and
Improved Diffusion Prior on NeRF and 3D Gaussian Splatting [60.393072253444934]
本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。
拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
論文 参考訳(メタデータ) (2023-12-08T03:55:34Z) - HiFi-123: Towards High-fidelity One Image to 3D Content Generation [64.81863143986384]
HiFi-123は高忠実で多視点で一貫した3D生成のために設計された手法である。
本稿では,拡散型ゼロショットノベルビュー合成法の忠実度を大幅に向上する参照ガイド型新規ビュー拡張(RGNV)技術を提案する。
また,新たにRGSD(Reference-Guided State Distillation)を施行した。
論文 参考訳(メタデータ) (2023-10-10T16:14:20Z) - Efficient-VQGAN: Towards High-Resolution Image Generation with Efficient
Vision Transformers [41.78970081787674]
本稿では,高解像度画像生成のためのより効率的な2段階フレームワークを提案する。
我々は,従来手法で用いたグローバルアテンション機構の代わりに,局所アテンションに基づく量子化モデルを用いる。
このアプローチは、より高速な生成速度、より高速な生成忠実度、解像度の向上をもたらす。
論文 参考訳(メタデータ) (2023-10-09T04:38:52Z) - HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion
Guidance [19.252300247300145]
本研究は,高品質なテキスト・ツー・3D生成を実現するための全体的サンプリングと平滑化手法を提案する。
テキスト・画像拡散モデルの潜時空間と画像空間における復調スコアを計算する。
単一段最適化において高品質なレンダリングを生成するため,我々はNeRF線に沿ったz座標の分散の正則化を提案する。
論文 参考訳(メタデータ) (2023-05-30T05:56:58Z) - IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。
我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。
本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-03-17T17:07:36Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳(メタデータ) (2022-09-01T10:46:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。