論文の概要: Multi-Plane Neural Radiance Fields for Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2303.01736v1
• Date: Fri, 3 Mar 2023 06:32:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 16:01:17.771432
• Title: Multi-Plane Neural Radiance Fields for Novel View Synthesis
• Title（参考訳）: 新しい視点合成のための多面神経放射場
• Authors: Youssef Abdelkareem, Shady Shehata, Fakhri Karray
• Abstract要約: 新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 5.478764356647437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Novel view synthesis is a long-standing problem that revolves around rendering frames of scenes from novel camera viewpoints. Volumetric approaches provide a solution for modeling occlusions through the explicit 3D representation of the camera frustum. Multi-plane Images (MPI) are volumetric methods that represent the scene using front-parallel planes at distinct depths but suffer from depth discretization leading to a 2.D scene representation. Another line of approach relies on implicit 3D scene representations. Neural Radiance Fields (NeRF) utilize neural networks for encapsulating the continuous 3D scene structure within the network weights achieving photorealistic synthesis results, however, methods are constrained to per-scene optimization settings which are inefficient in practice. Multi-plane Neural Radiance Fields (MINE) open the door for combining implicit and explicit scene representations. It enables continuous 3D scene representations, especially in the depth dimension, while utilizing the input image features to avoid per-scene optimization. The main drawback of the current literature work in this domain is being constrained to single-view input, limiting the synthesis ability to narrow viewpoint ranges. In this work, we thoroughly examine the performance, generalization, and efficiency of single-view multi-plane neural radiance fields. In addition, we propose a new multiplane NeRF architecture that accepts multiple views to improve the synthesis results and expand the viewing range. Features from the input source frames are effectively fused through a proposed attention-aware fusion module to highlight important information from different viewpoints. Experiments show the effectiveness of attention-based fusion and the promising outcomes of our proposed method when compared to multi-view NeRF and MPI techniques.
• Abstract（参考訳）: 新しいビュー合成は、新しいカメラ視点からシーンのフレームを描画する、長年にわたる問題である。 体積的アプローチは、カメラフラスタムの明示的な3次元表現を通じて咬合をモデル化するソリューションを提供する。 マルチプレーン画像(Multi-plane Images、MPI)は、2.Dのシーン表現に繋がる深さの離散化に苦しむ前面平行面を用いてシーンを表現するボリューム手法である。 別のアプローチは、暗黙の3dシーン表現に依存する。 ニューラルネットワーク(neural radiance field, nerf)は、ニューラルネットワークを用いて、フォトリアリスティックな合成結果を達成するネットワークウェイト内の連続的な3dシーン構造をカプセル化するが、実際には非効率なシーン毎の最適化設定に制限される。 多面体ニューラル・レージアンス・フィールド(MINE)は暗黙的なシーン表現と明示的なシーン表現を組み合わせた扉を開く。 入力画像の特徴を利用してシーン毎の最適化を回避しつつ、特に深度次元における連続的な3次元シーン表現を可能にする。 この領域における現在の文献の主な欠点は、単一視点の入力に制限され、合成能力が狭義の視点範囲に制限されていることである。 本研究では,単視点多面体光放射場の性能,一般化,効率を徹底的に検討する。 さらに,複数のビューを受信して合成結果を改善し,視聴範囲を拡大する新しい多面体NeRFアーキテクチャを提案する。 入力ソースフレームからの機能は、異なる視点から重要な情報を強調するために、提案された注意認識融合モジュールを通じて効果的に融合される。 マルチビューNeRF法やMPI法と比較して,注意に基づく融合の有効性と提案手法の有望性を示す実験を行った。

関連論文リスト

• MSI-NeRF: Linking Omni-Depth with View Synthesis through Multi-Sphere Image aided Generalizable Neural Radiance Field [1.3162012586770577]
  深層学習全方位深度推定と新しいビュー合成を組み合わせたMSI-NeRFを提案する。 入力画像の特徴抽出とワープにより,コストボリュームとして多面体画像を構築する。 ネットワークには,4つの画像のみを用いて未知のシーンを効率的に再構築する一般化機能がある。
  論文  参考訳（メタデータ） (2024-03-16T07:26:50Z)
• GenLayNeRF: Generalizable Layered Representations with 3D Model Alignment for Multi-Human View Synthesis [1.6574413179773757]
  GenLayNeRFは、複数の被写体の自由視点レンダリングのための一般化可能な階層化シーン表現である。 シーンを3Dボディーメッシュに固定されたマルチヒューマン層に分割する。 我々は、相関関係と融合関係にある点的画像整列と人間的アンチョレッド特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-20T20:37:31Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• Efficient View Synthesis and 3D-based Multi-Frame Denoising with Multiplane Feature Representations [1.18885605647513]
  本稿では,3Dベースのマルチフレームデノベーション手法を初めて導入し,より少ない計算量で2Dベースのデノベーションを著しく上回った。 特徴空間に多面体を操作する学習可能なエンコーダ-レンダペアを導入することにより,新しいビュー合成のための多面体画像(MPI)フレームワークを拡張した。
  論文  参考訳（メタデータ） (2023-03-31T15:23:35Z)
• Neural Volume Super-Resolution [49.879789224455436]
  本稿では,シーンの体積表現を直接操作する超解像ネットワークを提案する。 提案手法を実現するために,複数の2次元特徴面にヒンジを付ける新しい3次元表現法を提案する。 多様な3Dシーンの多視点一貫したビューを超解し,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-09T04:54:13Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。