論文の概要: Progressive Learning of 3D Reconstruction Network from 2D GAN Data

• arxiv url: http://arxiv.org/abs/2305.11102v1
• Date: Thu, 18 May 2023 16:45:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 13:59:51.546585
• Title: Progressive Learning of 3D Reconstruction Network from 2D GAN Data
• Title（参考訳）: 2次元ganデータによる3次元再構成ネットワークのプログレッシブ学習
• Authors: Aysegul Dundar, Jun Gao, Andrew Tao, Bryan Catanzaro
• Abstract要約: 本稿では,高品質なテクスチャ3Dモデルを単一画像から再構成する手法を提案する。 提案手法は,高額なアノテーションを持つデータセット,マルチビュー画像とそのカメラパラメータに依存している。 提案手法は,GAN生成したマルチビュー画像や,高価なアノテーションを付加した実画像において,従来の手法よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 33.42114674602613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a method to reconstruct high-quality textured 3D models from single images. Current methods rely on datasets with expensive annotations; multi-view images and their camera parameters. Our method relies on GAN generated multi-view image datasets which have a negligible annotation cost. However, they are not strictly multi-view consistent and sometimes GANs output distorted images. This results in degraded reconstruction qualities. In this work, to overcome these limitations of generated datasets, we have two main contributions which lead us to achieve state-of-the-art results on challenging objects: 1) A robust multi-stage learning scheme that gradually relies more on the models own predictions when calculating losses, 2) A novel adversarial learning pipeline with online pseudo-ground truth generations to achieve fine details. Our work provides a bridge from 2D supervisions of GAN models to 3D reconstruction models and removes the expensive annotation efforts. We show significant improvements over previous methods whether they were trained on GAN generated multi-view images or on real images with expensive annotations. Please visit our web-page for 3D visuals: https://research.nvidia.com/labs/adlr/progressive-3d-learning
• Abstract（参考訳）: 本稿では,高品質なテクスチャ3Dモデルを単一画像から再構成する手法を提案する。 現在の手法は、高価なアノテーションを持つデータセット、マルチビュー画像とそのカメラパラメータに依存している。 提案手法は,アノテーションコストが無視できるGAN生成多視点画像データセットに依存する。 しかし、厳密なマルチビュー一貫性はなく、GANは歪んだ画像を出力することもある。 この結果、復元性は低下した。 この作業では、生成されたデータセットのこれらの制限を克服するために、2つの大きな貢献があります。 1) 損失を計算する際にモデル自身の予測に徐々に依存する頑健な多段階学習方式。 2) 詳細を達成するために, オンライン偽地真理生成を用いた新しい敵対的学習パイプラインを考案した。 我々の研究はganモデルの2次元監督から3次元再構築モデルへの橋渡しを提供し、高価なアノテーションを取り除きます。 我々は,ganが生成するマルチビュー画像のトレーニングや,高価なアノテーションによる実画像のトレーニングなど,従来の手法よりも大幅な改善を示す。 3DビジュアルのWebページをご覧ください。 https://research.nvidia.com/labs/adlr/progressive-3d-learning

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Inverse Neural Rendering for Explainable Multi-Object Tracking [35.072142773300655]
  我々はRGBカメラから3Dマルチオブジェクト追跡をEmphInverse Rendering (IR)問題として再放送した。 我々は、本質的に形状と外観特性を歪ませる生成潜在空間上の画像損失を最適化する。 本手法の一般化とスケーリング能力は,合成データのみから生成前を学習することで検証する。
  論文  参考訳（メタデータ） (2024-04-18T17:37:53Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• Geometry aware 3D generation from in-the-wild images in ImageNet [18.157263188192434]
  本稿では,カメラポーズ情報のない多種多様な非構造化画像ネットから3次元形状を再構成する手法を提案する。 2次元画像から3次元モデルを学習し,StyleGAN2に基づいて生成元バックボーンのアーキテクチャを変更するために,効率的な三面体表現を用いる。 訓練されたジェネレータは、任意の視点からのレンダリングだけでなく、クラス条件の3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2024-01-31T23:06:39Z)
• DMV3D: Denoising Multi-View Diffusion using 3D Large Reconstruction Model [86.37536249046943]
  textbfDMV3Dはトランスフォーマーに基づく3次元大規模再構成モデルを用いた新しい3D生成手法である。 再構成モデルでは, 3面のNeRF表現を組み込んで, ノイズの多い多視点画像をNeRF再構成とレンダリングで識別することができる。
  論文  参考訳（メタデータ） (2023-11-15T18:58:41Z)
• IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
  本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。 我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。 組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
  論文  参考訳（メタデータ） (2023-08-22T14:39:17Z)
• GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
  GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。 3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。 実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2022-06-18T16:58:49Z)
• Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering [101.56891506498755]
  異なるレンダリングによって、ニューラルネットワークをトレーニングして"逆グラフィックス"タスクを実行する方法が舗装された。 提案手法は,既存のデータセットでトレーニングした最先端の逆グラフネットワークを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-10-18T22:29:07Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。