論文の概要: Data augmentation for NeRF: a geometric consistent solution based on view morphing

• arxiv url: http://arxiv.org/abs/2210.04214v1
• Date: Sun, 9 Oct 2022 09:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 19:05:49.547447
• Title: Data augmentation for NeRF: a geometric consistent solution based on view morphing
• Title（参考訳）: nerfのためのデータ拡張:ビューモーフィングに基づく幾何学的一貫性のある解
• Authors: Matteo Bortolon, Alessio Del Bue, Fabio Poiesi
• Abstract要約: NeRFは、異なる視点から得られた入力画像の有限セットを用いて、連続的なニューラルシーン表現を学習することを目的としている。 本稿では、ビューモーフィングを用いた視点間の幾何的一貫した画像遷移を生成する新しいデータ拡張手法を提案する。 実験により,この手法により,学習視点の少ないデータセットにおいて,NeRFが合成された新規ビューの品質を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 14.982451024975736
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: NeRF aims to learn a continuous neural scene representation by using a finite set of input images taken from different viewpoints. The fewer the number of viewpoints, the higher the likelihood of overfitting on them. This paper mitigates such limitation by presenting a novel data augmentation approach to generate geometrically consistent image transitions between viewpoints using view morphing. View morphing is a highly versatile technique that does not requires any prior knowledge about the 3D scene because it is based on general principles of projective geometry. A key novelty of our method is to use the very same depths predicted by NeRF to generate the image transitions that are then added to NeRF training. We experimentally show that this procedure enables NeRF to improve the quality of its synthesised novel views in the case of datasets with few training viewpoints. We improve PSNR up to 1.8dB and 10.5dB when eight and four views are used for training, respectively. To the best of our knowledge, this is the first data augmentation strategy for NeRF that explicitly synthesises additional new input images to improve the model generalisation.
• Abstract（参考訳）: NeRFは、異なる視点から得られた入力画像の有限セットを用いて、連続的なニューラルシーン表現を学習することを目的としている。 視点の数が少なくなればなるほど、オーバーフィットする可能性が高くなる。 本稿では,ビューモーフィングを用いて視点間の幾何学的一貫性のある画像遷移を生成するための新しいデータ拡張手法を提案することで,このような制限を緩和する。 ビューフォーミング(View morphing)は、射影幾何学の一般的な原理に基づくため、3Dシーンに関する事前の知識を必要としない非常に多用途な手法である。 提案手法の重要な特徴は、NeRFが予測した深度と全く同じ深度を用いて、NeRFトレーニングに付加される画像遷移を生成することである。 実験により,この手法により,学習視点の少ないデータセットにおいて,NeRFが合成された新規ビューの品質を向上させることができることを示す。 トレーニングに8ビューと4ビューを使用した場合,PSNRを1.8dBと10.5dBに改善する。 我々の知る限りでは、モデル一般化を改善するために新たな入力画像を明示的に合成するNeRFの最初のデータ拡張戦略である。

関連論文リスト

• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• CorresNeRF: Image Correspondence Priors for Neural Radiance Fields [45.40164120559542]
  CorresNeRFは、市販の方法によって計算された画像対応の事前情報を利用して、NeRFトレーニングを監督する新しい手法である。 本手法は,異なるNeRF変種にまたがるプラグ・アンド・プレイモジュールとして適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:55:29Z)
• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields [1.8512070255576754]
  DietNeRFはNeRF(Neural Radiance Fields)の拡張である DietNeRFは、入力画像が異なる視点でキャプチャされた場合でも、事前訓練された特徴抽出器が同じ特徴を出力すべきであると仮定する。 未知視点で特徴ベクトルを監視できるManifoldNeRFを提案する。
  論文  参考訳（メタデータ） (2023-10-20T17:13:52Z)
• Federated Neural Radiance Fields [36.42289161746808]
  複数の計算ノードがそれぞれのシーンの異なる観察セットを取得し、共通のNeRFを並列に学習する。 このアルゴリズムは、トレーニング作業を複数の計算ノードに分割し、イメージを中央ノードにプールする必要をなくします。 また、NeRF層の低ランク分解に基づく手法を導入し、帯域幅を削減し、アグリゲーションのためのモデルパラメーターを送信する。
  論文  参考訳（メタデータ） (2023-05-02T02:33:22Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
  我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。 本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-01-26T05:14:12Z)
• PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs [3.818285175392197]
  神経放射場(NeRF)は複雑なシーンの新しいビューに有望な応用がある。 NeRFは、高品質な画像を生成するために、数百の数字の高密度な入力ビューを必要とする。 少ショット入力の幾何を考慮した十分な量のデータ拡張方式であるNeRFの擬似ビュー拡張を提案する。
  論文  参考訳（メタデータ） (2022-11-23T08:01:10Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。