論文の概要: Pose-Free Neural Radiance Fields via Implicit Pose Regularization

• arxiv url: http://arxiv.org/abs/2308.15049v1
• Date: Tue, 29 Aug 2023 06:14:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 15:41:21.978626
• Title: Pose-Free Neural Radiance Fields via Implicit Pose Regularization
• Title（参考訳）: 暗黙的ポーズ正規化によるポーズフリー神経放射場
• Authors: Jiahui Zhang, Fangneng Zhan, Yingchen Yu, Kunhao Liu, Rongliang Wu, Xiaoqin Zhang, Ling Shao, Shijian Lu
• Abstract要約: IR-NeRFは、暗黙的なポーズ規則化を導入し、ポーズ推定器を非ポーズの実像で精査する革新的なポーズフリー神経放射場である。 特定のシーンの2D画像の収集により、IR-NeRFはシーンの特徴を記憶するシーンコードブックを構築し、シーン固有のポーズ分布を前もって暗黙的にキャプチャする。
• 参考スコア（独自算出の注目度）: 117.648238941948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pose-free neural radiance fields (NeRF) aim to train NeRF with unposed multi-view images and it has achieved very impressive success in recent years. Most existing works share the pipeline of training a coarse pose estimator with rendered images at first, followed by a joint optimization of estimated poses and neural radiance field. However, as the pose estimator is trained with only rendered images, the pose estimation is usually biased or inaccurate for real images due to the domain gap between real images and rendered images, leading to poor robustness for the pose estimation of real images and further local minima in joint optimization. We design IR-NeRF, an innovative pose-free NeRF that introduces implicit pose regularization to refine pose estimator with unposed real images and improve the robustness of the pose estimation for real images. With a collection of 2D images of a specific scene, IR-NeRF constructs a scene codebook that stores scene features and captures the scene-specific pose distribution implicitly as priors. Thus, the robustness of pose estimation can be promoted with the scene priors according to the rationale that a 2D real image can be well reconstructed from the scene codebook only when its estimated pose lies within the pose distribution. Extensive experiments show that IR-NeRF achieves superior novel view synthesis and outperforms the state-of-the-art consistently across multiple synthetic and real datasets.
• Abstract（参考訳）: Pose-free Neural Radiance Field (NeRF) は、NeRFを無作為な多視点画像で訓練することを目的としており、近年非常に大きな成功を収めている。 既存のほとんどの研究は、粗いポーズ推定器をレンダリングされた画像で訓練するパイプラインを共有し、続いて推定されたポーズと神経放射場を共同で最適化する。 しかし、ポーズ推定器はレンダリング画像のみを用いて訓練されるため、実際の画像とレンダリング画像との領域ギャップにより、ポーズ推定は通常、実際の画像に対して偏りや不正確なため、実際の画像のポーズ推定や、さらに共同最適化における局所最小値に対するロバスト性が低い。 IR-NeRFは、暗黙的なポーズ正則化を導入し、ポーズ推定を非ポーズ実画像で洗練し、実際の画像に対するポーズ推定の堅牢性を向上させる。 特定のシーンの2D画像の収集により、IR-NeRFはシーンの特徴を記憶するシーンコードブックを構築し、シーン固有のポーズ分布を予め暗黙的にキャプチャする。 これにより、推定されたポーズがポーズ分布内にある場合に限り、2次元実画像がシーンコードブックから適切に再構築できるという根拠に基づいて、シーン先行してポーズ推定のロバスト性を促進することができる。 広汎な実験により、IR-NeRFは優れた新規なビュー合成を実現し、複数の合成データセットと実際のデータセットで一貫して最先端の性能を発揮することが示されている。

関連論文リスト

• CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory [12.460959809597213]
  ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
  論文  参考訳（メタデータ） (2024-04-22T06:07:06Z)
• LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs [56.050550636941836]
  NeRFモデルが野生で広く展開されるのを防ぐ重要な障害は、正確なカメラのポーズに依存することである。 カメラのポーズとニューラルフィールドを協調して推定するLU-NeRFという新しい手法を提案する。 LU-NeRFパイプラインは、ポーズに制限的な仮定を加えることなく、未提案のNeRFに対する事前試みより優れることを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:56:22Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。