論文の概要: Progressive Learning of 3D Reconstruction Network from 2D GAN Data
- arxiv url: http://arxiv.org/abs/2305.11102v1
- Date: Thu, 18 May 2023 16:45:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 13:59:51.546585
- Title: Progressive Learning of 3D Reconstruction Network from 2D GAN Data
- Title(参考訳): 2次元ganデータによる3次元再構成ネットワークのプログレッシブ学習
- Authors: Aysegul Dundar, Jun Gao, Andrew Tao, Bryan Catanzaro
- Abstract要約: 本稿では,高品質なテクスチャ3Dモデルを単一画像から再構成する手法を提案する。
提案手法は,高額なアノテーションを持つデータセット,マルチビュー画像とそのカメラパラメータに依存している。
提案手法は,GAN生成したマルチビュー画像や,高価なアノテーションを付加した実画像において,従来の手法よりも大幅に改善されている。
- 参考スコア(独自算出の注目度): 33.42114674602613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a method to reconstruct high-quality textured 3D models
from single images. Current methods rely on datasets with expensive
annotations; multi-view images and their camera parameters. Our method relies
on GAN generated multi-view image datasets which have a negligible annotation
cost. However, they are not strictly multi-view consistent and sometimes GANs
output distorted images. This results in degraded reconstruction qualities. In
this work, to overcome these limitations of generated datasets, we have two
main contributions which lead us to achieve state-of-the-art results on
challenging objects: 1) A robust multi-stage learning scheme that gradually
relies more on the models own predictions when calculating losses, 2) A novel
adversarial learning pipeline with online pseudo-ground truth generations to
achieve fine details. Our work provides a bridge from 2D supervisions of GAN
models to 3D reconstruction models and removes the expensive annotation
efforts. We show significant improvements over previous methods whether they
were trained on GAN generated multi-view images or on real images with
expensive annotations. Please visit our web-page for 3D visuals:
https://research.nvidia.com/labs/adlr/progressive-3d-learning
- Abstract(参考訳): 本稿では,高品質なテクスチャ3Dモデルを単一画像から再構成する手法を提案する。
現在の手法は、高価なアノテーションを持つデータセット、マルチビュー画像とそのカメラパラメータに依存している。
提案手法は,アノテーションコストが無視できるGAN生成多視点画像データセットに依存する。
しかし、厳密なマルチビュー一貫性はなく、GANは歪んだ画像を出力することもある。
この結果、復元性は低下した。
この作業では、生成されたデータセットのこれらの制限を克服するために、2つの大きな貢献があります。
1) 損失を計算する際にモデル自身の予測に徐々に依存する頑健な多段階学習方式。
2) 詳細を達成するために, オンライン偽地真理生成を用いた新しい敵対的学習パイプラインを考案した。
我々の研究はganモデルの2次元監督から3次元再構築モデルへの橋渡しを提供し、高価なアノテーションを取り除きます。
我々は,ganが生成するマルチビュー画像のトレーニングや,高価なアノテーションによる実画像のトレーニングなど,従来の手法よりも大幅な改善を示す。
3DビジュアルのWebページをご覧ください。 https://research.nvidia.com/labs/adlr/progressive-3d-learning
関連論文リスト
- Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - Geometry aware 3D generation from in-the-wild images in ImageNet [18.157263188192434]
本稿では,カメラポーズ情報のない多種多様な非構造化画像ネットから3次元形状を再構成する手法を提案する。
2次元画像から3次元モデルを学習し,StyleGAN2に基づいて生成元バックボーンのアーキテクチャを変更するために,効率的な三面体表現を用いる。
訓練されたジェネレータは、任意の視点からのレンダリングだけでなく、クラス条件の3Dモデルを生成することができる。
論文 参考訳(メタデータ) (2024-01-31T23:06:39Z) - DMV3D: Denoising Multi-View Diffusion using 3D Large Reconstruction
Model [86.37536249046943]
textbfDMV3Dはトランスフォーマーに基づく3次元大規模再構成モデルを用いた新しい3D生成手法である。
再構成モデルでは, 3面のNeRF表現を組み込んで, ノイズの多い多視点画像をNeRF再構成とレンダリングで識別することができる。
論文 参考訳(メタデータ) (2023-11-15T18:58:41Z) - IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。
我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。
組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
論文 参考訳(メタデータ) (2023-08-22T14:39:17Z) - 3D-aware Image Generation using 2D Diffusion Models [23.150456832947427]
我々は、3D対応画像生成タスクをマルチビュー2Dイメージセット生成として定式化し、さらにシーケンシャルな条件なしのマルチビュー画像生成プロセスにも適用する。
本研究では,2次元拡散モデルを用いて生成的モデリング能力を向上する。
我々は,既存の手法では扱えない大規模データセットであるImageNetで,本手法を訓練する。
論文 参考訳(メタデータ) (2023-03-31T09:03:18Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳(メタデータ) (2022-06-18T16:58:49Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳(メタデータ) (2022-04-06T17:54:46Z) - Image GANs meet Differentiable Rendering for Inverse Graphics and
Interpretable 3D Neural Rendering [101.56891506498755]
異なるレンダリングによって、ニューラルネットワークをトレーニングして"逆グラフィックス"タスクを実行する方法が舗装された。
提案手法は,既存のデータセットでトレーニングした最先端の逆グラフネットワークを著しく上回ることを示す。
論文 参考訳(メタデータ) (2020-10-18T22:29:07Z) - Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
テクスチャ化された3Dメッシュの最初の生成モデルを示す。
我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。
レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
論文 参考訳(メタデータ) (2020-04-08T18:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。