論文の概要: HiFi-123: Towards High-fidelity One Image to 3D Content Generation
- arxiv url: http://arxiv.org/abs/2310.06744v1
- Date: Tue, 10 Oct 2023 16:14:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 14:47:25.283142
- Title: HiFi-123: Towards High-fidelity One Image to 3D Content Generation
- Title（参考訳）: HiFi-123:高精細画像から3Dコンテンツ生成へ
- Authors: Wangbo Yu, Li Yuan, Yan-Pei Cao, Xiangjun Gao, Xiaoyu Li, Long Quan,
Ying Shan, Yonghong Tian
- Abstract要約: 高速かつ多視点で一貫した3次元生成が可能なHiFi-123を提案する。
コントリビューションはまず,参照誘導型新規ビューエンハンスメント技術を提案する。
第2に, 新規な視点向上に乗じて, 新たな基準誘導型蒸留損失を提示する。
- 参考スコア（独自算出の注目度）: 68.41847860194201
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in text-to-image diffusion models have enabled 3D generation
from a single image. However, current image-to-3D methods often produce
suboptimal results for novel views, with blurred textures and deviations from
the reference image, limiting their practical applications. In this paper, we
introduce HiFi-123, a method designed for high-fidelity and multi-view
consistent 3D generation. Our contributions are twofold: First, we propose a
reference-guided novel view enhancement technique that substantially reduces
the quality gap between synthesized and reference views. Second, capitalizing
on the novel view enhancement, we present a novel reference-guided state
distillation loss. When incorporated into the optimization-based image-to-3D
pipeline, our method significantly improves 3D generation quality, achieving
state-of-the-art performance. Comprehensive evaluations demonstrate the
effectiveness of our approach over existing methods, both qualitatively and
quantitatively.
- Abstract（参考訳）: テキスト・画像拡散モデルの最近の進歩により、単一の画像から3次元生成が可能になった。
しかし、現在の画像から3Dへの手法は、ぼやけたテクスチャや参照画像からの逸脱を伴って、新しいビューのサブ最適結果を生成することが多い。
本稿では,高忠実かつ多視点で一貫した3次元生成が可能なHiFi-123を提案する。
まず, 合成ビューと参照ビュー間の品質ギャップを実質的に低減する, 参照ガイドによる新しいビュー拡張手法を提案する。
第2に, 新たな視点向上を活かして, 新たな基準誘導型蒸留損失を提示する。
最適化に基づく画像-3Dパイプラインに組み込むと、3D生成の品質が向上し、最先端の性能が向上する。
包括的評価は,既存手法に対するアプローチの有効性を質的,定量的に示すものである。
関連論文リスト
- ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。
提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
論文 参考訳（メタデータ） (2024-09-03T16:53:19Z) - GECO: Generative Image-to-3D within a SECOnd [51.20830808525894]
本稿では,1秒以内に動作する高品質な3次元生成モデリング手法GECOを紹介する。
GECOは、前例のないレベルの効率で高品質な3Dメッシュ生成を実現する。
論文 参考訳（メタデータ） (2024-05-30T17:58:00Z) - Customize-It-3D: High-Quality 3D Creation from A Single Image Using
Subject-Specific Knowledge Prior [33.45375100074168]
本稿では,参照画像から提供された情報をフル活用して,画像から3D生成に先立ってカスタマイズされた知識を確立する,新しい2段階のアプローチを提案する。
実験では,本手法の優位性であるCustomize-It-3Dが,従来よりも大幅に向上したことを示す。
論文 参考訳（メタデータ） (2023-12-15T19:07:51Z) - RL Dreams: Policy Gradient Optimization for Score Distillation based 3D
Generation [15.154441074606101]
スコア蒸留サンプリング(SDS)に基づくレンダリングは、3Dアセット生成を大幅に改善した。
DDPO3Dは2次元拡散モデルから3次元レンダリングを改善するために、審美的スコアリングを伴うタンデムのポリシー勾配法を用いている。
提案手法は, 種々の報酬関数を生成過程に組み込むための, 蒸留法と互換性がある。
論文 参考訳（メタデータ） (2023-12-08T02:41:04Z) - Instant3D: Fast Text-to-3D with Sparse-View Generation and Large
Reconstruction Model [68.98311213582949]
テキストプロンプトから高品質で多様な3Dアセットをフィードフォワードで生成する新しい手法であるInstant3Dを提案する。
提案手法は,従来の最適化手法よりも2桁早く,20秒以内に高画質の多種多様な3Dアセットを生成できる。
論文 参考訳（メタデータ） (2023-11-10T18:03:44Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-18T17:55:47Z) - HD-Fusion: Detailed Text-to-3D Generation Leveraging Multiple Noise
Estimation [43.83459204345063]
本稿では,複数の雑音推定プロセスと事前学習した2次元拡散を併用した新しい手法を提案する。
その結果,提案手法はベースラインと比較して高品質な細部を生成できることが示唆された。
論文 参考訳（メタデータ） (2023-07-30T09:46:22Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。