論文の概要: SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image

• arxiv url: http://arxiv.org/abs/2204.00928v1
• Date: Sat, 2 Apr 2022 19:32:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 14:41:03.388731
• Title: SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image
• Title（参考訳）: SinNeRF:1枚の画像から複雑なシーンの神経放射場を訓練する
• Authors: Dejia Xu, Yifan Jiang, Peihao Wang, Zhiwen Fan, Humphrey Shi, Zhangyang Wang
• Abstract要約: 本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。 SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
• 参考スコア（独自算出の注目度）: 85.43496313628943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rapid development of Neural Radiance Field (NeRF), the necessity of dense covers largely prohibits its wider applications. While several recent works have attempted to address this issue, they either operate with sparse views (yet still, a few of them) or on simple objects/scenes. In this work, we consider a more ambitious task: training neural radiance field, over realistically complex visual scenes, by "looking only once", i.e., using only a single view. To attain this goal, we present a Single View NeRF (SinNeRF) framework consisting of thoughtfully designed semantic and geometry regularizations. Specifically, SinNeRF constructs a semi-supervised learning process, where we introduce and propagate geometry pseudo labels and semantic pseudo labels to guide the progressive training process. Extensive experiments are conducted on complex scene benchmarks, including NeRF synthetic dataset, Local Light Field Fusion dataset, and DTU dataset. We show that even without pre-training on multi-view datasets, SinNeRF can yield photo-realistic novel-view synthesis results. Under the single image setting, SinNeRF significantly outperforms the current state-of-the-art NeRF baselines in all cases. Project page: https://vita-group.github.io/SinNeRF/
• Abstract（参考訳）: ニューラル・レージアンス・フィールド (Neural Radiance Field, NeRF) の急速な発展にもかかわらず、密度の高いカバーの必要性は、その幅広い応用をほとんど禁止している。 この問題に対処しようとする最近の研究はいくつかあるが、スパースビュー(まだいくつかあるが)や単純なオブジェクト/シーンで動作する。 本研究では,より野心的な課題である,神経放射野の訓練,現実的に複雑な視覚シーン,すなわち1つのビューのみを用いて「1回だけ見る」ことによる学習について考察する。 この目的を達成するために、慎重に設計されたセマンティックおよび幾何正規化からなるシングルビューNeRF(SinNeRF)フレームワークを提案する。 具体的には、sinnerfは半教師付き学習プロセスを構築し、幾何学的擬似ラベルと意味的擬似ラベルを導入し、プログレッシブトレーニングプロセスを導く。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで大規模な実験が行われた。 マルチビューデータセットを事前トレーニングしなくても、sinnerfはフォトリアリスティックなノベルビュー合成結果が得られる。 単一の画像設定の下では、SinNeRFはすべてのケースにおいて現在の最先端のNeRFベースラインよりも著しく優れている。 プロジェクトページ: https://vita-group.github.io/SinNeRF/

関連論文リスト

• TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks [57.73997367306271]
  TrackNeRFは新しいベンチマークをノイズとスパースビューの再構築で設定する。 TrackNeRFは最先端のBARFとSPARFよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-08-20T11:14:23Z)
• ZeroRF: Fast Sparse View 360{\deg} Reconstruction with Zero Pretraining [28.03297623406931]
  Neural Radiance Fields (NeRF)のような現在のブレークスルーは、高忠実度画像合成を実証しているが、スパース入力ビューに苦慮している。 我々はZeroRFを提案し、その鍵となるアイデアは、カスタマイズされたDeep Image Priorを係数化されたNeRF表現に統合することである。 従来の方法とは異なり、ZeroRFはニューラルネットワークジェネレータでフィーチャーグリッドをパラメトリズし、効率的なスパースビュー360deg再構成を可能にする。
  論文  参考訳（メタデータ） (2023-12-14T18:59:32Z)
• SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
  NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。 我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。 上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
  論文  参考訳（メタデータ） (2023-09-07T18:02:57Z)
• Multi-Space Neural Radiance Fields [74.46513422075438]
  既存のニューラルレージアンス場(NeRF)法は反射物体の存在に悩まされている。 並列部分空間における特徴場の群を用いてシーンを表現するマルチスペースニューラルレイディアンス場(MS-NeRF)を提案する。 提案手法は,高品質シーンのレンダリングにおいて,既存の単一空間NeRF法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-07T13:11:07Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。