論文の概要: ConsistentDreamer: View-Consistent Meshes Through Balanced Multi-View Gaussian Optimization

• arxiv url: http://arxiv.org/abs/2502.09278v2
• Date: Mon, 17 Feb 2025 16:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:43.417211
• Title: ConsistentDreamer: View-Consistent Meshes Through Balanced Multi-View Gaussian Optimization
• Title（参考訳）: ConsistentDreamer: バランスの取れたマルチビューガウス最適化によるビュー一貫性メッシュ
• Authors: Onat Şahin, Mohammad Altillawi, George Eskandar, Carlos Carbone, Ziyuan Liu,
• Abstract要約: 我々はConsistentDreamerを紹介し、まず、固定された複数ビュー前の画像とそれらの間のランダムなビューの集合を生成する。 これにより、SDSの損失によって導かれるビュー間の相違を抑え、一貫した粗い形状を確保する。 各イテレーションでは、生成した複数ビュー前の画像も詳細再構築に使用しています。
• 参考スコア（独自算出の注目度）: 5.55656676725821
• License:
• Abstract: Recent advances in diffusion models have significantly improved 3D generation, enabling the use of assets generated from an image for embodied AI simulations. However, the one-to-many nature of the image-to-3D problem limits their use due to inconsistent content and quality across views. Previous models optimize a 3D model by sampling views from a view-conditioned diffusion prior, but diffusion models cannot guarantee view consistency. Instead, we present ConsistentDreamer, where we first generate a set of fixed multi-view prior images and sample random views between them with another diffusion model through a score distillation sampling (SDS) loss. Thereby, we limit the discrepancies between the views guided by the SDS loss and ensure a consistent rough shape. In each iteration, we also use our generated multi-view prior images for fine-detail reconstruction. To balance between the rough shape and the fine-detail optimizations, we introduce dynamic task-dependent weights based on homoscedastic uncertainty, updated automatically in each iteration. Additionally, we employ opacity, depth distortion, and normal alignment losses to refine the surface for mesh extraction. Our method ensures better view consistency and visual quality compared to the state-of-the-art.
• Abstract（参考訳）: 拡散モデルの最近の進歩は、3D生成を大幅に改善し、画像から生成されたアセットを具体化したAIシミュレーションに利用できるようになった。 しかし、イメージ・ツー・3D問題の1対多の性質は、ビュー間のコンテンツと品質の矛盾により、使用を制限している。 従来のモデルは、ビュー条件付き拡散からビューをサンプリングすることで、3Dモデルを最適化するが、拡散モデルはビューの一貫性を保証することはできない。 代わりにConsistentDreamerを提案し、そこではまず、スコア蒸留サンプリング(SDS)の損失により、固定されたマルチビュー先行画像と、それらの間のランダムなビューを別の拡散モデルでサンプリングする。 これにより、SDSの損失によって導かれるビュー間の相違を抑え、一貫した粗い形状を確保する。 各イテレーションでは、生成した複数ビュー前の画像も詳細再構築に使用しています。 粗い形状と細部最適化のバランスをとるために,各イテレーションで自動的に更新される相補的不確実性に基づく動的タスク依存重みを導入する。 さらに,メッシュ抽出のための表面改質のために不透明度,深さ歪み,正規配向損失を用いる。 提案手法は,最先端技術と比較して視界の整合性と視覚的品質を向上する。

関連論文リスト

• Towards High-Fidelity 3D Portrait Generation with Rich Details by Cross-View Prior-Aware Diffusion [63.81544586407943]
  シングルイメージの3Dポートレート生成法は通常、多視点の知識を提供するために2次元拡散モデルを使用し、それを3次元表現に蒸留する。 本稿では,複数ビュー画像の状態の整合性を高める条件として,複数ビュー先行を明示的かつ暗黙的に組み込んだハイブリッド優先ディフジョンモデルを提案する。 実験により,1枚の画像から正確な幾何学的,詳細な3次元像を作成できることが示された。
  論文  参考訳（メタデータ） (2024-11-15T17:19:18Z)
• PlacidDreamer: Advancing Harmony in Text-to-3D Generation [20.022078051436846]
  PlacidDreamerは、マルチビュー生成とテキスト条件生成を調和させるテキストから3Dフレームワークである。 バランスの取れた飽和を達成するために、新しいスコア蒸留アルゴリズムを採用している。
  論文  参考訳（メタデータ） (2024-07-19T02:00:04Z)
• OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
  OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。 本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。 提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-06-14T13:16:18Z)
• Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image [28.759158325097093]
  Unique3Dは、シングルビュー画像から高品質な3Dメッシュを効率的に生成するための、新しい画像間3Dフレームワークである。 我々のフレームワークは、最先端世代の忠実さと強力な一般化性を備えている。
  論文  参考訳（メタデータ） (2024-05-30T17:59:54Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Sparse3D: Distilling Multiview-Consistent Diffusion for Object Reconstruction from Sparse Views [47.215089338101066]
  スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。 提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。 強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
  論文  参考訳（メタデータ） (2023-08-27T11:52:00Z)
• DreamTime: An Improved Optimization Strategy for Diffusion-Guided 3D Generation [24.042803966469066]
  本研究は, 点数蒸留における3次元最適化プロセスと一様時間ステップサンプリングの矛盾が, これらの制約の主な原因であることを示す。 本稿では, 単調な非増加関数を用いた時間ステップサンプリングを優先し, 3次元最適化プロセスと拡散モデルのサンプリングプロセスとの整合性を示す。 私たちのシンプルなデザイン変更は、より高速なコンバージェンス、より良い品質、多様性で3Dコンテンツ作成を大幅に改善します。
  論文  参考訳（メタデータ） (2023-06-21T17:59:45Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
  2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
  論文  参考訳（メタデータ） (2021-10-18T08:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。