論文の概要: Image GANs meet Differentiable Rendering for Inverse Graphics and
Interpretable 3D Neural Rendering
- arxiv url: http://arxiv.org/abs/2010.09125v2
- Date: Tue, 20 Apr 2021 18:06:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 04:06:26.357536
- Title: Image GANs meet Differentiable Rendering for Inverse Graphics and
Interpretable 3D Neural Rendering
- Title（参考訳）: 逆グラフと解釈可能な3次元ニューラルレンダリングのための画像GANの差分レンダリング
- Authors: Yuxuan Zhang, Wenzheng Chen, Huan Ling, Jun Gao, Yinan Zhang, Antonio
Torralba, Sanja Fidler
- Abstract要約: 異なるレンダリングによって、ニューラルネットワークをトレーニングして"逆グラフィックス"タスクを実行する方法が舗装された。
提案手法は,既存のデータセットでトレーニングした最先端の逆グラフネットワークを著しく上回ることを示す。
- 参考スコア（独自算出の注目度）: 101.56891506498755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable rendering has paved the way to training neural networks to
perform "inverse graphics" tasks such as predicting 3D geometry from monocular
photographs. To train high performing models, most of the current approaches
rely on multi-view imagery which are not readily available in practice. Recent
Generative Adversarial Networks (GANs) that synthesize images, in contrast,
seem to acquire 3D knowledge implicitly during training: object viewpoints can
be manipulated by simply manipulating the latent codes. However, these latent
codes often lack further physical interpretation and thus GANs cannot easily be
inverted to perform explicit 3D reasoning. In this paper, we aim to extract and
disentangle 3D knowledge learned by generative models by utilizing
differentiable renderers. Key to our approach is to exploit GANs as a
multi-view data generator to train an inverse graphics network using an
off-the-shelf differentiable renderer, and the trained inverse graphics network
as a teacher to disentangle the GAN's latent code into interpretable 3D
properties. The entire architecture is trained iteratively using cycle
consistency losses. We show that our approach significantly outperforms
state-of-the-art inverse graphics networks trained on existing datasets, both
quantitatively and via user studies. We further showcase the disentangled GAN
as a controllable 3D "neural renderer", complementing traditional graphics
renderers.
- Abstract（参考訳）: 微分可能レンダリングは、モノクロ写真から3d幾何学を予測するといった「逆グラフィックス」タスクを実行するためにニューラルネットワークを訓練する方法を広げた。
ハイパフォーマンスモデルのトレーニングには、現在のアプローチのほとんどが、実際に利用できないマルチビューイメージに依存している。
画像合成を行う最近のgans(generative adversarial network)は、トレーニング中に暗黙的に3d知識を取得しているように見える。
しかし、これらの潜伏符号はさらなる物理的解釈を欠いているため、GANは容易に3D推論を行うことができない。
本稿では,微分可能なレンダラーを用いて生成モデルから学習した3次元知識を抽出・解離することを目的とする。
我々のアプローチの鍵は、GANをマルチビューデータジェネレータとして活用し、オフザシェルの微分可能なレンダラを用いて逆グラフィックネットワークをトレーニングし、トレーニングされた逆グラフィックネットワークを教師として、GANの潜在コードを解釈可能な3Dプロパティに切り離すことである。
アーキテクチャ全体は、サイクル一貫性の損失を使って反復的に訓練される。
本手法は,既存のデータセット上でトレーニングされた最先端の逆グラフィックスネットワークを定量的に,ユーザ研究によって大きく上回っていることを示す。
さらに, 従来のグラフィックレンダラーを補完する制御可能な3次元「ニューラルレンダラー」として, GANを展示する。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - DEL: Discrete Element Learner for Learning 3D Particle Dynamics with Neural Rendering [10.456618054473177]
逆レンダリングにより2次元画像から3次元ダイナミクスを学習する方法を示す。
学習可能なグラフカーネルを古典的な離散要素分析フレームワークに組み込む。
本手法は, 部分的な2次元観察から, 各種材料の力学を効果的に学習することができる。
論文 参考訳（メタデータ） (2024-10-11T16:57:02Z) - Inverse Neural Rendering for Explainable Multi-Object Tracking [35.072142773300655]
我々はRGBカメラから3Dマルチオブジェクト追跡をEmphInverse Rendering (IR)問題として再放送した。
我々は、本質的に形状と外観特性を歪ませる生成潜在空間上の画像損失を最適化する。
本手法の一般化とスケーリング能力は,合成データのみから生成前を学習することで検証する。
論文 参考訳（メタデータ） (2024-04-18T17:37:53Z) - Geometry aware 3D generation from in-the-wild images in ImageNet [18.157263188192434]
本稿では,カメラポーズ情報のない多種多様な非構造化画像ネットから3次元形状を再構成する手法を提案する。
2次元画像から3次元モデルを学習し,StyleGAN2に基づいて生成元バックボーンのアーキテクチャを変更するために,効率的な三面体表現を用いる。
訓練されたジェネレータは、任意の視点からのレンダリングだけでなく、クラス条件の3Dモデルを生成することができる。
論文 参考訳（メタデータ） (2024-01-31T23:06:39Z) - WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [77.92350895927922]
潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。
我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。
これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
論文 参考訳（メタデータ） (2023-11-22T18:25:51Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳（メタデータ） (2022-12-14T18:49:50Z) - 3inGAN: Learning a 3D Generative Model from Images of a Self-similar
Scene [34.2144933185175]
3inGANは、単一の自己相似3Dシーンの2D画像から訓練された無条件3D生成モデルである。
実地および合成源から得られた,様々なスケールと複雑さの半確率的な場面での結果を示す。
論文 参考訳（メタデータ） (2022-11-27T18:03:21Z) - Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator [68.0533826852601]
3Dを意識した画像合成は、画像のリアルな2D画像の描画が可能な生成モデルを学ぶことを目的としている。
既存の方法では、適度な3D形状が得られない。
本稿では,3次元GANの改良を目的とした幾何学的識別器を提案する。
論文 参考訳（メタデータ） (2022-09-30T17:59:37Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳（メタデータ） (2022-06-18T16:58:49Z) - Style Agnostic 3D Reconstruction via Adversarial Style Transfer [23.304453155586312]
物体の3次元形状を画像から再構成することは、コンピュータビジョンにおける大きな課題である。
本研究では,背景を持つ画像から3次元物体を識別可能な学習法を提案する。
論文 参考訳（メタデータ） (2021-10-20T21:24:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。