論文の概要: VM-NeRF: Tackling Sparsity in NeRF with View Morphing

• arxiv url: http://arxiv.org/abs/2210.04214v2
• Date: Wed, 16 Aug 2023 08:55:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 17:51:38.816257
• Title: VM-NeRF: Tackling Sparsity in NeRF with View Morphing
• Title（参考訳）: VM-NeRF:ビューモーフィングによるNeRFのスパース処理
• Authors: Matteo Bortolon, Alessio Del Bue, Fabio Poiesi
• Abstract要約: NeRFは、様々な視点から得られた入力画像の有限セットを用いて、連続的なニューラルシーン表現を学習することを目的としている。 本稿では,ビューモーフィングを用いた視点間の幾何的一貫した画像遷移を生成する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 19.418298933260953
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: NeRF aims to learn a continuous neural scene representation by using a finite set of input images taken from various viewpoints. A well-known limitation of NeRF methods is their reliance on data: the fewer the viewpoints, the higher the likelihood of overfitting. This paper addresses this issue by introducing a novel method to generate geometrically consistent image transitions between viewpoints using View Morphing. Our VM-NeRF approach requires no prior knowledge about the scene structure, as View Morphing is based on the fundamental principles of projective geometry. VM-NeRF tightly integrates this geometric view generation process during the training procedure of standard NeRF approaches. Notably, our method significantly improves novel view synthesis, particularly when only a few views are available. Experimental evaluation reveals consistent improvement over current methods that handle sparse viewpoints in NeRF models. We report an increase in PSNR of up to 1.8dB and 1.0dB when training uses eight and four views, respectively. Source code: \url{https://github.com/mbortolon97/VM-NeRF}
• Abstract（参考訳）: NeRFは、様々な視点から得られた入力画像の有限セットを用いて、連続的なニューラルシーン表現を学習することを目的としている。 nerfメソッドのよく知られた制限は、データへの依存である: 視点が少なくなればなるほど、過剰に適合する可能性が高くなる。 本稿では,ビューモーフィングを用いて視点間の幾何学的に一貫した画像遷移を生成する新しい手法を提案する。 ビューモーフィングは射影幾何学の基本原理に基づいているため、vm-nerfアプローチではシーン構造に関する事前知識は必要ありません。 VM-NeRFは、標準的なNeRFアプローチのトレーニング手順において、この幾何学的ビュー生成プロセスを密に統合する。 特に,少数のビューしか利用できない場合において,新規なビュー合成を著しく改善する。 実験により、NeRFモデルにおけるスパース視点を扱う現在の手法よりも一貫した改善が示された。 トレーニングでは最大1.8dB,1.0dBのPSNRが8回,4回,それぞれ増加した。 ソースコード: \url{https://github.com/mbortolon97/VM-NeRF}

関連論文リスト

• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• CorresNeRF: Image Correspondence Priors for Neural Radiance Fields [45.40164120559542]
  CorresNeRFは、市販の方法によって計算された画像対応の事前情報を利用して、NeRFトレーニングを監督する新しい手法である。 本手法は,異なるNeRF変種にまたがるプラグ・アンド・プレイモジュールとして適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:55:29Z)
• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields [1.8512070255576754]
  DietNeRFはNeRF(Neural Radiance Fields)の拡張である DietNeRFは、入力画像が異なる視点でキャプチャされた場合でも、事前訓練された特徴抽出器が同じ特徴を出力すべきであると仮定する。 未知視点で特徴ベクトルを監視できるManifoldNeRFを提案する。
  論文  参考訳（メタデータ） (2023-10-20T17:13:52Z)
• Federated Neural Radiance Fields [36.42289161746808]
  複数の計算ノードがそれぞれのシーンの異なる観察セットを取得し、共通のNeRFを並列に学習する。 このアルゴリズムは、トレーニング作業を複数の計算ノードに分割し、イメージを中央ノードにプールする必要をなくします。 また、NeRF層の低ランク分解に基づく手法を導入し、帯域幅を削減し、アグリゲーションのためのモデルパラメーターを送信する。
  論文  参考訳（メタデータ） (2023-05-02T02:33:22Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
  我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。 本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-01-26T05:14:12Z)
• PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs [3.818285175392197]
  神経放射場(NeRF)は複雑なシーンの新しいビューに有望な応用がある。 NeRFは、高品質な画像を生成するために、数百の数字の高密度な入力ビューを必要とする。 少ショット入力の幾何を考慮した十分な量のデータ拡張方式であるNeRFの擬似ビュー拡張を提案する。
  論文  参考訳（メタデータ） (2022-11-23T08:01:10Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。