論文の概要: SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views

• arxiv url: http://arxiv.org/abs/2309.05028v1
• Date: Sun, 10 Sep 2023 13:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 14:56:17.964071
• Title: SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views
• Title（参考訳）: SC-NeRF:スパースビューによる自己補正型ニューラル放射場
• Authors: Liang Song, Guangming Wang, Jiuming Liu, Zhenyang Fu, Yanzi Miao, and Hesheng
• Abstract要約: 一般化タスクを屋外のシーンに拡張し、オブジェクトレベルのデータセットでのみ訓練する。 マルチヘッドアテンション機構に基づく幾何補正モジュールと外観修正モジュールを提案する。 我々のネットワークは、屋外シーンにおける様々なシーン構造と幾何学的特徴を効果的に補正し、オブジェクトレベルから見えない屋外シーンまでよく一般化する。
• 参考スコア（独自算出の注目度）: 8.055830652157336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent studies, the generalization of neural radiance fields for novel view synthesis task has been widely explored. However, existing methods are limited to objects and indoor scenes. In this work, we extend the generalization task to outdoor scenes, trained only on object-level datasets. This approach presents two challenges. Firstly, the significant distributional shift between training and testing scenes leads to black artifacts in rendering results. Secondly, viewpoint changes in outdoor scenes cause ghosting or missing regions in rendered images. To address these challenges, we propose a geometric correction module and an appearance correction module based on multi-head attention mechanisms. We normalize rendered depth and combine it with light direction as query in the attention mechanism. Our network effectively corrects varying scene structures and geometric features in outdoor scenes, generalizing well from object-level to unseen outdoor scenes. Additionally, we use appearance correction module to correct appearance features, preventing rendering artifacts like blank borders and ghosting due to viewpoint changes. By combining these modules, our approach successfully tackles the challenges of outdoor scene generalization, producing high-quality rendering results. When evaluated on four datasets (Blender, DTU, LLFF, Spaces), our network outperforms previous methods. Notably, compared to MVSNeRF, our network improves average PSNR from 19.369 to 25.989, SSIM from 0.838 to 0.889, and reduces LPIPS from 0.265 to 0.224 on Spaces outdoor scenes.
• Abstract（参考訳）: 近年の研究では、新しい視点合成タスクのための神経放射野の一般化が広く研究されている。 しかし、既存の方法は室内や物体に限られている。 本研究では,オブジェクトレベルのデータセットにのみトレーニングされた屋外シーンに一般化タスクを拡張する。 このアプローチには2つの課題がある。 まず、トレーニングとテストのシーン間の大きな分散シフトは、レンダリング結果に黒のアーティファクトをもたらします。 第二に、屋外シーンの視点の変化は、レンダリング画像のゴーストや欠落の原因となる。 これらの課題に対処するため,マルチヘッドアテンション機構に基づく幾何補正モジュールと外観修正モジュールを提案する。 我々は描画深度を正規化し、注意機構のクエリとして光方向と組み合わせる。 本ネットワークは,屋外シーンにおける様々なシーン構造や幾何学的特徴を効果的に補正し,オブジェクトレベルから見えない屋外シーンまでを一般化する。 さらに,外観補正モジュールを用いて外観特徴を補正し,視点変化による空白境界やゴーストなどのレンダリングアーティファクトを防止した。 これらのモジュールを組み合わせることで、屋外シーンの一般化の課題に対処し、高品質なレンダリング結果が得られる。 4つのデータセット(Blender, DTU, LLFF, Spaces)で評価すると,ネットワークは従来の手法よりも優れていた。 特にMVSNeRFと比較して、当社のネットワークは平均PSNRを19.369から25.989、SSIMを0.838から0.889、LPIPSを0.265から0.224に削減している。

関連論文リスト

• Simple-RF: Regularizing Sparse Input Radiance Fields with Simpler Solutions [5.699788926464751]
  ニューラル・ラジアンス・フィールド(NeRF)は、シーンのフォトリアリスティックなフリービューレンダリングにおいて印象的なパフォーマンスを示す。 TensoRFやZipNeRFといったNeRFの最近の改良は、最適化とレンダリングの高速化のために明示的なモデルを採用している。 放射場によって推定される深度を監督することは、より少ない視点で効果的に学習することに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-29T18:00:25Z)
• NeRF-DS: Neural Radiance Fields for Dynamic Specular Objects [63.04781030984006]
  ダイナミック・ニューラル・ラジアンス・フィールド(英語版)(NeRF)は、動的シーンの単眼RGBビデオからフォトリアリスティック・ノベル・ビュー・イメージをレンダリングできる強力なアルゴリズムである。 観測空間の表面位置と配向に条件付される神経放射場関数を再構成することにより,その限界に対処する。 本研究では,現実的な環境下での異なる移動スペクトルオブジェクトの自己合成データセットを用いて,新しいビュー合成品質に基づくモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-25T11:03:53Z)
• DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models [5.255302402546892]
  デノナイジング拡散モデル(DDM)を用いてシーン形状と色に関する事前学習を行う。 これらのRGBDパッチの対数勾配は、シーンの幾何や色を規則化するのに役立ちます。 最も関連性の高いデータセットであるLLFFの評価は、我々の学習前は、再構成された幾何学の質の向上と、新しいビューの改善を実現していることを示している。
  論文  参考訳（メタデータ） (2023-02-23T18:52:28Z)
• RobustNeRF: Ignoring Distractors with Robust Losses [32.2329459013342]
  我々は、最適化問題の解として、NeRFトレーニングのためのロバストな推定形式を提唱し、トレーニングデータのイントラクタをモデリングする。 本手法は, シーンから外れ値を取り除き, ベースライン, 合成シーン, 現実シーンを改良する。
  論文  参考訳（メタデータ） (2023-02-02T02:45:23Z)
• Is Attention All NeRF Needs? [103.51023982774599]
  Generalizable NeRF Transformer (GNT) は、ソースビューから高速にNeRF(Neural Radiance Fields)を効率的に再構築する、純粋で統一されたトランスフォーマーベースのアーキテクチャである。 GNTは、2つのトランスフォーマーベースのステージをカプセル化することにより、一般化可能なニューラルシーン表現とレンダリングを実現する。
  論文  参考訳（メタデータ） (2022-07-27T05:09:54Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Solving Inverse Problems with NerfGANs [88.24518907451868]
  我々は、NeRF型生成モデルを用いて、逆問題を解決するための新しいフレームワークを提案する。 遅延空間を鼻で最適化することは、アーティファクトや、新しいビューレンダリングに繋がることを示す。 本研究では,より優れた3次元表面を得るための新しい放射場正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T17:56:58Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• Neural Sparse Voxel Fields [151.20366604586403]
  高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。 NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。 提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
  論文  参考訳（メタデータ） (2020-07-22T17:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。