論文の概要: NeLF: Practical Novel View Synthesis with Neural Light Field

• arxiv url: http://arxiv.org/abs/2105.07112v1
• Date: Sat, 15 May 2021 01:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 14:31:49.072605
• Title: NeLF: Practical Novel View Synthesis with Neural Light Field
• Title（参考訳）: NeLF: ニューラルライトフィールドを用いた実用的な新しいビュー合成
• Authors: Celong Liu, Zhong Li, Junsong Yuan, Yi Xu
• Abstract要約: 複雑なシーンの新規なビュー合成のための実用的で堅牢なディープラーニングソリューションを提案する。 我々のアプローチでは、連続的なシーンは光場、すなわち光線の集合として表現され、それぞれが対応する色を持つ。 インタラクティブなフレームレートを維持しながら、最新の新しいビュー合成結果を実現します。
• 参考スコア（独自算出の注目度）: 93.41020940730915
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we present a practical and robust deep learning solution for the novel view synthesis of complex scenes. In our approach, a continuous scene is represented as a light field, i.e., a set of rays, each of which has a corresponding color. We adopt a 4D parameterization of the light field. We then formulate the light field as a 4D function that maps 4D coordinates to corresponding color values. We train a deep fully connected network to optimize this function. Then, the scene-specific model is used to synthesize novel views. Previous light field approaches usually require dense view sampling to reliably render high-quality novel views. Our method can render novel views by sampling rays and querying the color for each ray from the network directly; thus enabling fast light field rendering with a very sparse set of input images. Our method achieves state-of-the-art novel view synthesis results while maintaining an interactive frame rate.
• Abstract（参考訳）: 本稿では,複雑なシーンの新しい視点合成のための実用的でロバストなディープラーニングソリューションを提案する。 我々のアプローチでは、連続的なシーンは光場、すなわち光線の集合として表現され、それぞれが対応する色を持つ。 我々は光場の4次元パラメータ化を採用する。 次に、4D座標を対応する色値にマッピングする4D関数として光場を定式化する。 この機能を最適化するために、深く接続されたネットワークを訓練します。 次に、シーン固有のモデルを用いて、新しいビューを合成する。 従来のライトフィールドアプローチでは、高品質のノベルビューを確実にレンダリングするために、密集したビューサンプリングが必要となる。 提案手法は,光線をサンプリングし,ネットワークから直接各光線の色を問い合わせることによって,新しいビューを描画することができる。 本手法は,インタラクティブなフレームレートを維持しつつ,最先端の新規ビュー合成結果を実現する。

関連論文リスト

• Sampling for View Synthesis: From Local Light Field Fusion to Neural Radiance Fields and Beyond [27.339452004523082]
  局所光電場融合は、サンプルビューの不規則なグリッドから現実的なビュー合成を行うアルゴリズムを提案する。 我々は、最大4000倍のビューを用いて、Nyquistレートビューサンプリングの知覚品質を実現する。 スパースおよび単一画像ビュー合成に関する最近の研究結果のいくつかを再現する。
  論文  参考訳（メタデータ） (2024-08-08T16:56:03Z)
• Relit-NeuLF: Efficient Relighting and Novel View Synthesis via Neural 4D Light Field [69.90548694719683]
  本稿ではRelit-NeuLFと呼ばれる分析合成手法を提案する。 まず、4次元座標系で各光線をパラメータ化し、効率的な学習と推論を可能にする。 総合的な実験により,提案手法は合成データと実世界の顔データの両方において効率的かつ効果的であることが実証された。
  論文  参考訳（メタデータ） (2023-10-23T07:29:51Z)
• Generalizable Patch-Based Neural Rendering [46.41746536545268]
  未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。 本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。 本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-21T17:57:04Z)
• Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations [48.05445941939446]
  コンピュータビジョンにおける古典的な問題は、インタラクティブなレートで新しいビューを描画するのに使用できる少数の画像から3Dシーン表現を推論することである。 SRT(Scene Representation Transformer)は,新しい領域のRGB画像のポーズ処理やアンポーズ処理を行う手法である。 本手法は,PSNRおよび合成データセットの速度において,最近のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-25T16:18:56Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)
• Free View Synthesis [100.86844680362196]
  本稿では,シーンの周囲に自由に分布する入力画像から新規なビュー合成手法を提案する。 本手法は,入力ビューの規則的な配置に依存しず,シーンを通して自由なカメラ運動のための画像の合成が可能であり,制約のない幾何学的レイアウトの一般的な場面で機能する。
  論文  参考訳（メタデータ） (2020-08-12T18:16:08Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。