論文の概要: VMRF: View Matching Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2207.02621v2
- Date: Sun, 11 Jun 2023 18:40:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 02:50:02.888520
- Title: VMRF: View Matching Neural Radiance Fields
- Title（参考訳）: vmrf: ニューラルネットワークの輝度フィールドをマッチングするビュー
- Authors: Jiahui Zhang and Fangneng Zhan and Rongliang Wu and Yingchen Yu and
Wenqing Zhang and Bai Song and Xiaoqin Zhang and Shijian Lu
- Abstract要約: VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。
VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。
特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
- 参考スコア（独自算出の注目度）: 57.93631771072756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) have demonstrated very impressive performance
in novel view synthesis via implicitly modelling 3D representations from
multi-view 2D images. However, most existing studies train NeRF models with
either reasonable camera pose initialization or manually-crafted camera pose
distributions which are often unavailable or hard to acquire in various
real-world data. We design VMRF, an innovative view matching NeRF that enables
effective NeRF training without requiring prior knowledge in camera poses or
camera pose distributions. VMRF introduces a view matching scheme, which
exploits unbalanced optimal transport to produce a feature transport plan for
mapping a rendered image with randomly initialized camera pose to the
corresponding real image. With the feature transport plan as the guidance, a
novel pose calibration technique is designed which rectifies the initially
randomized camera poses by predicting relative pose transformations between the
pair of rendered and real images. Extensive experiments over a number of
synthetic and real datasets show that the proposed VMRF outperforms the
state-of-the-art qualitatively and quantitatively by large margins.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、多視点2次元画像から暗黙的に3次元表現をモデル化することで、新しいビュー合成において非常に印象的な性能を示した。
しかし、既存のほとんどの研究は、適切なカメラでNeRFモデルを訓練し、初期化または手作りのカメラポーズの分布を訓練している。
我々は、カメラポーズやカメラポーズの分布について事前知識を必要とせず、効果的なNeRFトレーニングを可能にする革新的な視野マッチングNeRFであるVMRFを設計する。
VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像とランダムに初期化されたカメラのポーズを対応する実画像にマッピングする特徴輸送計画を生成する。
特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズ変換を予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
多数の合成および実データに対する大規模な実験により、提案されたVMRFは、最先端の最先端を質的に、定量的に、大きなマージンで上回ることを示した。
関連論文リスト
- Pose-Free Neural Radiance Fields via Implicit Pose Regularization [117.648238941948]
IR-NeRFは、暗黙的なポーズ規則化を導入し、ポーズ推定器を非ポーズの実像で精査する革新的なポーズフリー神経放射場である。
特定のシーンの2D画像の収集により、IR-NeRFはシーンの特徴を記憶するシーンコードブックを構築し、シーン固有のポーズ分布を前もって暗黙的にキャプチャする。
論文 参考訳（メタデータ） (2023-08-29T06:14:06Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳（メタデータ） (2023-04-13T17:59:01Z) - HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN [0.4606926019499777]
本稿では,ガウス雑音をNeRFアーキテクチャの重みに変換するために,ハイパーネットワークパラダイムを用いたGANアーキテクチャであるHyperNeRFGANを紹介する。
既存の最先端の代替モデルと比較して顕著な単純さにもかかわらず、提案モデルは多様な画像データセットにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2023-01-27T10:21:18Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。
提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。
例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
論文 参考訳（メタデータ） (2022-10-09T11:46:45Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳（メタデータ） (2021-04-13T17:59:51Z) - Nerfies: Deformable Neural Radiance Fields [44.923025540903886]
携帯電話からカジュアルに撮影した写真やビデオを用いて、変形可能なシーンをリアルに再構築する最初の方法を提案する。
提案手法は、観測された各点を正準5D NeRFに湾曲する追加の連続体積変形場を最適化することにより、ニューラルラジアンス場(NeRF)を増強する。
提案手法は,非厳密な場面を忠実に再構築し,不明瞭な視点を高い忠実度で再現する。
論文 参考訳（メタデータ） (2020-11-25T18:55:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。