論文の概要: CorrespondentDream: Enhancing 3D Fidelity of Text-to-3D using Cross-View Correspondences

• arxiv url: http://arxiv.org/abs/2404.10603v2
• Date: Mon, 16 Sep 2024 18:29:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 22:10:43.477052
• Title: CorrespondentDream: Enhancing 3D Fidelity of Text-to-3D using Cross-View Correspondences
• Title（参考訳）: 対応Dream: クロスビュー対応を用いたテキスト・ツー・3Dの3次元忠実度向上
• Authors: Seungwook Kim, Kejie Li, Xueqing Deng, Yichun Shi, Minsu Cho, Peng Wang,
• Abstract要約: 我々は、NeRF最適化プロセスに先立って、アノテーションのないクロスビュー対応を活用する効果的な方法であるCorrespondentDreamを提案する。 これらの対応は人間の知覚と強く一致しており、損失設計に採用することで、一般的な感覚とより一貫性のあるジオメトリを持つNeRFモデルを作成できることがわかった。
• 参考スコア（独自算出の注目度）: 47.81902243584679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leveraging multi-view diffusion models as priors for 3D optimization have alleviated the problem of 3D consistency, e.g., the Janus face problem or the content drift problem, in zero-shot text-to-3D models. However, the 3D geometric fidelity of the output remains an unresolved issue; albeit the rendered 2D views are realistic, the underlying geometry may contain errors such as unreasonable concavities. In this work, we propose CorrespondentDream, an effective method to leverage annotation-free, cross-view correspondences yielded from the diffusion U-Net to provide additional 3D prior to the NeRF optimization process. We find that these correspondences are strongly consistent with human perception, and by adopting it in our loss design, we are able to produce NeRF models with geometries that are more coherent with common sense, e.g., more smoothed object surface, yielding higher 3D fidelity. We demonstrate the efficacy of our approach through various comparative qualitative results and a solid user study.
• Abstract（参考訳）: マルチビュー拡散モデルを3次元最適化の先行として活用することで、ゼロショットテキスト・ツー・3Dモデルにおける3次元整合性の問題、例えばヤヌス面問題やコンテンツドリフト問題を軽減することができる。 しかし、出力の3次元幾何学的忠実度は未解決の問題であり、レンダリングされた2次元ビューは現実的であるが、基礎となる幾何学は不合理な凹凸のような誤りを含むかもしれない。 本研究では,NeRF最適化プロセスに先立って,拡散U-Netから得られるアノテーションのないクロスビュー対応を活用するための効果的な手法であるCor correspondingentDreamを提案する。 これらの対応は人間の知覚と強く一致しており、損失設計に採用することにより、一般的な感覚、例えば、より滑らかな物体表面とのコヒーレントなジオメトリーを持つNeRFモデルを作成でき、より高い3次元忠実度が得られる。 提案手法の有効性を,様々な定性的な結果とユーザスタディを通じて実証する。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• Geometry-Aware Score Distillation via 3D Consistent Noising and Gradient Consistency Modeling [31.945761751215134]
  我々は,3次元一貫したノイズ発生,幾何に基づく勾配のゆらぎ,新しい勾配のゆらぎの損失を導入する。 我々は,テキスト・ツー・3次元生成タスクにおける幾何学的不整合を最小限のコストで解決し,既存のスコア蒸留モデルとの整合性を実現した。
  論文  参考訳（メタデータ） (2024-06-24T14:58:17Z)
• Retrieval-Augmented Score Distillation for Text-to-3D Generation [30.57225047257049]
  テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。 我々はReDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
  論文  参考訳（メタデータ） (2024-02-05T12:50:30Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• EfficientDreamer: High-Fidelity and Robust 3D Creation via Orthogonal-view Diffusion Prior [59.25950280610409]
  直交ビュー画像誘導を利用した高画質な3Dコンテンツ生成パイプラインを提案する。 本稿では,与えられたテキストプロンプトに基づいて4つのサブイメージからなる画像を生成する2次元拡散モデルを提案する。 また,生成した3Dコンテンツの詳細をさらに改善する3D合成ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T07:39:26Z)
• IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
  本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。 我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。 組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
  論文  参考訳（メタデータ） (2023-08-22T14:39:17Z)
• Efficient Text-Guided 3D-Aware Portrait Generation with Score Distillation Sampling on Distribution [28.526714129927093]
  本研究では,DreamPortraitを提案する。DreamPortraitは,テキスト誘導型3D画像の単一フォワードパスで効率よく作成することを目的としている。 さらに,テキストと3D認識空間の対応をモデルが明示的に知覚できるように,3D対応のゲート・アテンション機構を設計する。
  論文  参考訳（メタデータ） (2023-06-03T11:08:38Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。