論文の概要: pixelNeRF: Neural Radiance Fields from One or Few Images

• arxiv url: http://arxiv.org/abs/2012.02190v2
• Date: Wed, 5 May 2021 05:41:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 17:41:44.146115
• Title: pixelNeRF: Neural Radiance Fields from One or Few Images
• Title（参考訳）: pixelNeRF:1つか2つの画像からの神経放射場
• Authors: Alex Yu, Vickie Ye, Matthew Tancik, Angjoo Kanazawa
• Abstract要約: pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 20.607712035278315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose pixelNeRF, a learning framework that predicts a continuous neural scene representation conditioned on one or few input images. The existing approach for constructing neural radiance fields involves optimizing the representation to every scene independently, requiring many calibrated views and significant compute time. We take a step towards resolving these shortcomings by introducing an architecture that conditions a NeRF on image inputs in a fully convolutional manner. This allows the network to be trained across multiple scenes to learn a scene prior, enabling it to perform novel view synthesis in a feed-forward manner from a sparse set of views (as few as one). Leveraging the volume rendering approach of NeRF, our model can be trained directly from images with no explicit 3D supervision. We conduct extensive experiments on ShapeNet benchmarks for single image novel view synthesis tasks with held-out objects as well as entire unseen categories. We further demonstrate the flexibility of pixelNeRF by demonstrating it on multi-object ShapeNet scenes and real scenes from the DTU dataset. In all cases, pixelNeRF outperforms current state-of-the-art baselines for novel view synthesis and single image 3D reconstruction. For the video and code, please visit the project website: https://alexyu.net/pixelnerf
• Abstract（参考訳）: 入力画像に条件付き連続的なニューラルシーン表現を予測する学習フレームワークであるPixelNeRFを提案する。 既存の神経放射場構築のアプローチでは、各シーンへの表現を独立に最適化し、多くのキャリブレーションされたビューと重要な計算時間を必要とする。 我々は、画像入力にNeRFを条件付けるアーキテクチャを導入し、これらの欠点を解決するための一歩を踏み出した。 これにより、ネットワークを複数のシーンにまたがってトレーニングし、事前にシーンを学習し、わずかなビューセットからフィードフォワードで新しいビュー合成を実行することができる。 NeRFのボリュームレンダリングアプローチを活用することで、我々のモデルは、明示的な3D監視なしで画像から直接訓練することができる。 本研究では,単一画像の新規ビュー合成タスクに対するShapeNetベンチマークの広範な実験を行った。 さらに,DTUデータセットから複数オブジェクトのShapeNetシーンと実シーンに表示することで,ピクセルNeRFの柔軟性を実証する。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインより優れている。 ビデオとコードについては、プロジェクトのWebサイトを参照してください。

関連論文リスト

• MomentsNeRF: Leveraging Orthogonal Moments for Few-Shot Neural Rendering [4.6786468967610055]
  ニューラルレンダリングのための新しいフレームワークであるMomentsNeRFを提案する。 当社のアーキテクチャは,マルチシーンでトレーニングを行うための新しいトランスファー学習手法を提供する。 我々のアプローチは、Gabor や Zernike のモーメントから抽出した機能をうまく活用する最初の方法です。
  論文  参考訳（メタデータ） (2024-07-02T21:02:48Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image [85.43496313628943]
  本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。 SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2022-04-02T19:32:42Z)
• ViewFormer: NeRF-free Neural Rendering from Few Images Using Transformers [34.4824364161812]
  新たなビュー合成は、シーンやオブジェクトをスパースにカバーする少数のコンテキストビューしか与えられない、という問題です。 ゴールはシーンにおける新しい視点を予測することであり、これは学習の事前を必要とする。 ニューラルネットワークの単一パスにおいて,複数のコンテキストビューとクエリのポーズを新しい画像にマッピングする2Dのみの手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T21:08:23Z)
• Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes [48.0304999503795]
  SRF(Stereo Radiance Fields)は、エンドツーエンドで訓練されたニューラルビュー合成手法である。 SRFは新しいシーンに一般化し、テスト時にスパースビューしか必要としない。 実験の結果、SRFはシーンに過度に収まるのではなく構造を学ぶことがわかった。
  論文  参考訳（メタデータ） (2021-04-14T15:38:57Z)
• Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis [86.38901313994734]
  数枚の画像から推定した3次元ニューラルシーン表現であるDietNeRFを提案する。 NeRFはマルチビュー一貫性によってシーンの連続的なボリューム表現を学習する。 我々は,新しいポーズにおけるリアルなレンダリングを促進する補助的なセマンティック一貫性損失を導入する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:31Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。