論文の概要: AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation

• arxiv url: http://arxiv.org/abs/2204.13426v1
• Date: Thu, 28 Apr 2022 11:50:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 21:32:47.570045
• Title: AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation
• Title（参考訳）: AE-NeRF:3次元物体操作のための自動符号化ニューラルネットワーク
• Authors: Mira Kim, Jaehoon Ko, Kyusun Cho, Junmyeong Choi, Daewon Choi, Seungryong Kim
• Abstract要約: 我々は,AE-NeRF(Auto-Aware Neural Radiance Fields)と呼ばれる3次元物体操作のための新しいフレームワークを提案する。 我々のモデルは自動エンコーダアーキテクチャで定式化され、画像から3次元形状、外観、カメラポーズなどの不整形3D属性を抽出する。 歪み生成ニューラルレージアンスフィールド(NeRF)による特性から高品質な画像が描画される
• 参考スコア（独自算出の注目度）: 24.65896451569795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel framework for 3D-aware object manipulation, called Auto-Encoding Neural Radiance Fields (AE-NeRF). Our model, which is formulated in an auto-encoder architecture, extracts disentangled 3D attributes such as 3D shape, appearance, and camera pose from an image, and a high-quality image is rendered from the attributes through disentangled generative Neural Radiance Fields (NeRF). To improve the disentanglement ability, we present two losses, global-local attribute consistency loss defined between input and output, and swapped-attribute classification loss. Since training such auto-encoding networks from scratch without ground-truth shape and appearance information is non-trivial, we present a stage-wise training scheme, which dramatically helps to boost the performance. We conduct experiments to demonstrate the effectiveness of the proposed model over the latest methods and provide extensive ablation studies.
• Abstract（参考訳）: 本稿では,AE-NeRF(Auto-Encoding Neural Radiance Fields)と呼ばれる3次元オブジェクト操作のための新しいフレームワークを提案する。 本モデルはオートエンコーダアーキテクチャで定式化されており、画像から3d形状、外観、カメラポーズ等の異角形3d属性を抽出し、異角形神経放射野(nerf)を介してその属性から高品質な画像を生成する。 そこで本研究では,入力と出力の間に定義されたグローバルな属性整合性損失と,帰属型分類損失の2つの損失を示す。 このような自動エンコーディングネットワークを、地味な形状や外観情報のないスクラッチからトレーニングすることは容易ではないため、パフォーマンスを劇的に向上させる段階的トレーニングスキームを提案する。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転における3D環境を理解するための自己教師型学習フレームワークである。 スパースでシングルフレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する。 RGB、奥行き、特徴画像を再構成するために、異なるレンダリングで自己教師される。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects [52.46838926521572]
  3D認識生成モデルは、モノクロ2D画像の集合から3Dニューラル放射場(NeRF)を生成するスーパーブパフォーマンスを実証した。 本研究では, トポロジー変化物体の放射場を非交絡形状と外観変化で合成する生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-09-09T08:44:06Z)
• Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation [69.53142666853502]
  GNeRF(Generative Neural Radiance Fields)をベースとした3次元GANは、高品質な画像を生成する際、顕著な能力を示した。 本稿では, 特定の属性ラベルを入力として組み込んだ条件付きGNeRFモデルを提案する。
  論文  参考訳（メタデータ） (2022-08-26T10:05:39Z)
• AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural Images with Aperture Rendering Neural Radiance Fields [23.92262483956057]
  データ収集の利点から、完全に教師なしの3D表現学習が注目を集めている。 視点とデフォーカスの手がかりを統一的に活用できる開口描画型NeRF(AR-NeRF)を提案する。 深度とデフォーカス効果の教師なし学習におけるAR-NeRFの有用性を実証する。
  論文  参考訳（メタデータ） (2022-06-13T12:41:59Z)
• Points2NeRF: Generating Neural Radiance Fields from 3D point cloud [0.0]
  ニューラルラジアンス場(NeRF)として3次元物体を表現することを提案する。 ハイパーネットワークのパラダイムを活用して、モデルをトレーニングして、関連するカラー値を持つ3Dポイントクラウドを取ります。 提案手法は効率的な3次元オブジェクト表現を提供し,既存手法に対するいくつかの利点を提供する。
  論文  参考訳（メタデータ） (2022-06-02T20:23:33Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)
• Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
  3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。 本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。 また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
  論文  参考訳（メタデータ） (2021-04-29T07:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。