論文の概要: X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views

• arxiv url: http://arxiv.org/abs/2210.05135v1
• Date: Tue, 11 Oct 2022 04:29:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 16:02:36.623865
• Title: X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views
• Title（参考訳）: X-NeRF: マルチScene 360$^{\circ} $ sufficient RGB-D Viewsのための明示的ニューラルネットワーク場
• Authors: Haoyi Zhu, Hao-Shu Fang, Cewu Lu
• Abstract要約: この記事では、まれに議論されるが重要な設定に焦点を当てる。複数のシーンを表現可能な1つのモデルをトレーニングできるだろうか? 不十分な見解は、非常に疎外で、ほとんど重複しない見解に言及する。 X-NeRFは,座標に基づくマッピングではなく,一般的なシーン完了過程を学習する,完全に明示的なアプローチである。
• 参考スコア（独自算出の注目度）: 49.55319833743988
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural Radiance Fields (NeRFs), despite their outstanding performance on novel view synthesis, often need dense input views. Many papers train one model for each scene respectively and few of them explore incorporating multi-modal data into this problem. In this paper, we focus on a rarely discussed but important setting: can we train one model that can represent multiple scenes, with 360$^\circ $ insufficient views and RGB-D images? We refer insufficient views to few extremely sparse and almost non-overlapping views. To deal with it, X-NeRF, a fully explicit approach which learns a general scene completion process instead of a coordinate-based mapping, is proposed. Given a few insufficient RGB-D input views, X-NeRF first transforms them to a sparse point cloud tensor and then applies a 3D sparse generative Convolutional Neural Network (CNN) to complete it to an explicit radiance field whose volumetric rendering can be conducted fast without running networks during inference. To avoid overfitting, besides common rendering loss, we apply perceptual loss as well as view augmentation through random rotation on point clouds. The proposed methodology significantly out-performs previous implicit methods in our setting, indicating the great potential of proposed problem and approach. Codes and data are available at https://github.com/HaoyiZhu/XNeRF.
• Abstract（参考訳）: ニューラルレージアンス場(NeRF)は、新しいビュー合成における優れた性能にもかかわらず、しばしば密度の高い入力ビューを必要とする。 多くの論文では各シーンごとに1つのモデルを訓練しており、この問題にマルチモーダルデータを組み込んだ研究は少ない。 本稿では,360$^\circ $ lack viewとRGB-D imageを用いて,複数のシーンを表現可能な1つのモデルをトレーニングすることができるか? 我々は不十分なビューを、非常にスパースでほとんど重複しないビューに言及している。 これに対応するために,座標ベースのマッピングではなく,一般的なシーン完了過程を学習する,完全に明示的なアプローチであるX-NeRFを提案する。 いくつかのRGB-D入力ビューが不足しているため、X-NeRFはまずそれらをスパースポイントのクラウドテンソルに変換し、次に3次元のスパース生成畳み込みニューラルネットワーク(CNN)を適用して、推論中にネットワークを走らせることなく容積レンダリングを高速に行える明示的な放射場に完了させる。 一般的なレンダリング損失に加えて、オーバーフィッティングを回避するため、点雲上でのランダムな回転による視線増強も適用する。 提案手法は,従来の暗黙的手法よりも大幅に優れており,提案手法の可能性を示唆している。 コードとデータはhttps://github.com/haoyizhu/xnerfで入手できる。

関連論文リスト

• ProvNeRF: Modeling per Point Provenance in NeRFs as a Stochastic Process [12.534255228953741]
  ニューラル放射場(NeRF)は様々な用途で人気を集めている。 彼らはスパースビュー設定の課題に直面し、ボリュームレンダリングの十分な制約を欠いている。 ProvNeRF(ProvNeRF)は、ポイントごとの証明を組み込むことで、従来のNeRF表現を豊かにするモデルである。
  論文  参考訳（メタデータ） (2024-01-16T06:19:18Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
  シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。 融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
  論文  参考訳（メタデータ） (2023-09-26T18:01:02Z)
• ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
  スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。 我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。 我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-04-28T18:26:23Z)
• SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates [16.344734292989504]
  SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。 本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。 実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
  論文  参考訳（メタデータ） (2023-03-23T18:00:07Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。