論文の概要: Single Image to Textured 3D Object Generation in Frequency Domain: From Theory to Pipeline
- arxiv url: http://arxiv.org/abs/2609.07085v1
- Date: Mon, 07 Sep 2026 06:16:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 01:41:43.308078
- Title: Single Image to Textured 3D Object Generation in Frequency Domain: From Theory to Pipeline
- Title(参考訳): 周波数領域における単一画像からテクスチャ化された3次元オブジェクト生成:理論からパイプラインへ
- Authors: Qisen Wang, Yifan Zhao, Jia Li,
- Abstract要約: 野生の1つの未ポーズ画像から3Dオブジェクトを生成するパイプラインであるMorpheus3Dを提案する。
この枠組みでは、野生の任意の未像から3Dオブジェクトを生成するパイプラインであるMorpheus3Dをさらに提案する。
- 参考スコア(独自算出の注目度): 13.122536259577453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-view 3D reconstruction, also known as image-to-3D, is a persistently challenging task due to the extreme lack of information. Recently, diffusion models pre-trained on large-scale datasets served as 2D priors are used to solve the ill-posed task but suffer from color deviation and view inconsistency, which can be curbed by using diffusion models fine-tuned with 3D annotated data served as 3D priors. However, 3D priors lack high-frequency details, which cannot be solved by direct complementation with 2D priors in spatial domain for introducing erroneous low-frequency 2D prior guidance. In this paper, we revisit the characteristics of different diffusion priors from the frequency perspective. Based on our observations, we theoretically present a unified framework of hybrid optimization using multiple diffusion priors in frequency domain. Under this framework, we further propose Morpheus3D, a pipeline of 3D object generation from any single unposed image in the wild. Morpheus3D enhances 3D prior with high-pass image-prompt 2D prior guidance to reconstruct high-quality 3D objects while effectively suppressing view inconsistency, low-frequency color deviation, and high-frequency lacking problems. Both quantitative and qualitative experiments on the public and our collected datasets with complex textures show that our method exhibits significant improvements in generation quality.
- Abstract(参考訳): シングルビュー3D再構成(英: Single-view 3D reconstruction)またはイメージ・トゥ・3D(英: image-to-3D)は、情報量が極端に少ないため、永続的に困難な課題である。
近年,2次元先行データとして提供される大規模データセット上で事前訓練された拡散モデルを用いて,不適切な課題を解くが,色偏差や不整合に悩まされる。
しかし、3D先行は高周波の詳細を欠いているため、誤った低周波2D先行誘導を導入するために空間領域において2D先行と直接補完することでは解決できない。
本稿では、周波数の観点から異なる拡散前の特性を再考する。
本稿では,周波数領域における多重拡散先行値を用いたハイブリッド最適化の統一的枠組みを理論的に提案する。
この枠組みでは、野生の任意の未像から3Dオブジェクトを生成するパイプラインであるMorpheus3Dをさらに提案する。
Morpheus3Dは、高パス画像の2D事前誘導により3D前処理を強化し、高画質の3Dオブジェクトを再構成すると同時に、視界の不整合、低周波色偏差、高周波欠損問題を効果的に抑制する。
複雑なテクスチャを持つ収集データセットと一般の定量的および定性的な実験の両方により,本手法は生成品質を著しく向上させることが示された。
関連論文リスト
- Local Patches Meet Global Context: Scalable 3D Diffusion Priors for Computed Tomography Reconstruction [15.46391452264862]
拡散モデルは、医用画像再構成のような逆問題を解決するために活用できる強力な画像先行を学習する。
限られたデータから完全に3次元の拡散を学習できる新しい3次元パッチベース拡散モデルを提案する。
我々のアプローチは高品質な3D生成を可能にするだけでなく、高解像度の3D逆問題に対して、前例のないほど効率的で正確な解決策を提供する。
論文 参考訳(メタデータ) (2025-12-20T00:57:47Z) - Zero-1-to-G: Taming Pretrained 2D Diffusion Model for Direct 3D Generation [66.75243908044538]
我々は,事前学習した2次元拡散モデルを用いたガウススプラット上での3次元直接生成手法であるZero-1-to-Gを導入する。
3D認識を取り入れるために,複雑な相関関係を捉え,生成されたスプラット間の3D一貫性を強制する,クロスビュー層とクロスアトリビュートアテンション層を導入する。
これにより、Zero-1-to-Gは、事前訓練された2D拡散前処理を効果的に活用する最初の直接画像から3D生成モデルとなり、効率的なトレーニングと未確認物体への一般化が実現された。
論文 参考訳(メタデータ) (2025-01-09T18:37:35Z) - DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。
実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
論文 参考訳(メタデータ) (2024-12-11T07:32:17Z) - Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。
3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。
本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
論文 参考訳(メタデータ) (2024-10-12T10:14:11Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳(メタデータ) (2024-07-05T03:43:08Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-07T23:46:41Z) - Sparse3D: Distilling Multiview-Consistent Diffusion for Object
Reconstruction from Sparse Views [47.215089338101066]
スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。
提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。
強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
論文 参考訳(メタデータ) (2023-08-27T11:52:00Z) - DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。
本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。
提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
論文 参考訳(メタデータ) (2022-09-29T17:50:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。