論文の概要: Pix2NeRF: Unsupervised Conditional $\pi$-GAN for Single Image to Neural Radiance Fields Translation

• arxiv url: http://arxiv.org/abs/2202.13162v1
• Date: Sat, 26 Feb 2022 15:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-03 09:39:24.151976
• Title: Pix2NeRF: Unsupervised Conditional $\pi$-GAN for Single Image to Neural Radiance Fields Translation
• Title（参考訳）: Pix2NeRF: 単一画像からニューラルネットワークへの翻訳のための教師なし条件付き$\pi$-GAN
• Authors: Shengqu Cai and Anton Obukhov and Dengxin Dai and Luc Van Gool
• Abstract要約: 本研究では,物体のニューラルレージアンス場(NeRF)を生成するパイプラインを提案する。 本手法は,無条件3D画像合成のための生成モデルである$pi$-GANに基づいている。
• 参考スコア（独自算出の注目度）: 93.77693306391059
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We propose a pipeline to generate Neural Radiance Fields~(NeRF) of an object or a scene of a specific class, conditioned on a single input image. This is a challenging task, as training NeRF requires multiple views of the same scene, coupled with corresponding poses, which are hard to obtain. Our method is based on $\pi$-GAN, a generative model for unconditional 3D-aware image synthesis, which maps random latent codes to radiance fields of a class of objects. We jointly optimize (1) the $\pi$-GAN objective to utilize its high-fidelity 3D-aware generation and (2) a carefully designed reconstruction objective. The latter includes an encoder coupled with $\pi$-GAN generator to form an auto-encoder. Unlike previous few-shot NeRF approaches, our pipeline is unsupervised, capable of being trained with independent images without 3D, multi-view, or pose supervision. Applications of our pipeline include 3d avatar generation, object-centric novel view synthesis with a single input image, and 3d-aware super-resolution, to name a few.
• Abstract（参考訳）: 1つの入力画像で条件付けされたオブジェクトまたは特定のクラスのシーンのニューラルラミアンスフィールド~(nerf)を生成するパイプラインを提案する。 NeRFのトレーニングでは、同じシーンの複数のビューと、それに対応するポーズの取得が難しいため、これは難しい作業です。 提案手法は,無条件の3D画像合成のための生成モデルである$\pi$-GANをベースとした。 我々は,(1)高忠実度3D認識生成の活用を目的とした$\pi$-GAN目標と(2)慎重に設計された再構築目標を共同で最適化する。 後者は$\pi$-ganジェネレータと結合してオートエンコーダを形成するエンコーダを含んでいる。 これまでの数発のNeRFアプローチとは異なり、パイプラインは教師なしで、3D、マルチビュー、またはポーズの監督なしに独立したイメージでトレーニングできる。 パイプラインの応用例としては、3dアバター生成、単一入力画像によるオブジェクト中心の新規ビュー合成、3d対応超解像などがある。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転における3D環境を理解するための自己教師型学習フレームワークである。 スパースでシングルフレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する。 RGB、奥行き、特徴画像を再構成するために、異なるレンダリングで自己教師される。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative Neural Radiance Fields [2.458437232470188]
  ZIGNeRFは、ゼロショット生成アドリアスネットワーク(GAN)を逆さまに実行し、1つのドメイン外画像から多視点画像を生成する革新的なモデルである。 ZIGNeRFは、オブジェクトを背景から切り離し、360度回転や深さ、水平変換といった3D操作を実行することができる。
  論文  参考訳（メタデータ） (2023-06-05T09:41:51Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Class-Continuous Conditional Generative Neural Radiance Field [4.036530158875673]
  条件付き3D一貫性画像の合成が可能なクラス連続生成NeRF(textC3$G-NeRF)という新しいモデルを提案する。 本モデルでは,詳細な情報と条件付き特徴操作のスムーズな3次元整合性を示す。
  論文  参考訳（メタデータ） (2023-01-03T05:10:37Z)
• 3D-Aware Encoding for Style-based Neural Radiance Fields [50.118687869198716]
  我々は、入力画像をNeRFジェネレータの潜時空間に投影する反転関数を学び、潜時符号に基づいて原画像の新しいビューを合成する。 2次元生成モデルのGANインバージョンと比較して、NeRFインバージョンは、1)入力画像の同一性を維持するだけでなく、2)生成した新規なビューにおいて3D一貫性を確保する必要がある。 スタイルベースNeRFインバージョンのための2段階エンコーダを提案する。
  論文  参考訳（メタデータ） (2022-11-12T06:14:12Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)
• Decomposing 3D Scenes into Objects via Unsupervised Volume Segmentation [26.868351498722884]
  ニューラルラジアンスフィールド(NeRF)の集合として表現された3Dモデルにシーンの単一のイメージを変換する手法であるObSuRFを紹介します。 RGB-D入力でのNeRFのトレーニングを可能にする新しい損失を導き出し、より計算的に学習を効率化します。
  論文  参考訳（メタデータ） (2021-04-02T16:59:29Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)
• Pix2Vox++: Multi-scale Context-aware 3D Object Reconstruction from Single and Multiple Images [56.652027072552606]
  Pix2Vox++という,単一ビューと複数ビューの3Dオブジェクト再構成のための新しいフレームワークを提案する。 良く設計されたエンコーダデコーダを用いて、各入力画像から粗い3Dボリュームを生成する。 次に、マルチスケールコンテキスト対応融合モジュールを導入し、全ての粗い3Dボリュームから異なる部分の高品質な再構成を適応的に選択し、融合した3Dボリュームを得る。
  論文  参考訳（メタデータ） (2020-06-22T13:48:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。