論文の概要: UP-NeRF: Unconstrained Pose-Prior-Free Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2311.03784v1
• Date: Tue, 7 Nov 2023 08:10:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 16:26:13.515887
• Title: UP-NeRF: Unconstrained Pose-Prior-Free Neural Radiance Fields
• Title（参考訳）: UP-NeRF:制約のないパルスフリー神経放射場
• Authors: Injae Kim, Minhyuk Choi, Hyunwoo J. Kim
• Abstract要約: 我々は、カメラのポーズのない非拘束画像コレクションでNeRFを最適化するために、textbfUP-NeRF(textbfUnconstrained textbfPose-prior-free textbfNeural textbfRadiance textbfFields)を提案する。
• 参考スコア（独自算出の注目度）: 15.210203047351246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Field (NeRF) has enabled novel view synthesis with high fidelity given images and camera poses. Subsequent works even succeeded in eliminating the necessity of pose priors by jointly optimizing NeRF and camera pose. However, these works are limited to relatively simple settings such as photometrically consistent and occluder-free image collections or a sequence of images from a video. So they have difficulty handling unconstrained images with varying illumination and transient occluders. In this paper, we propose \textbf{UP-NeRF} (\textbf{U}nconstrained \textbf{P}ose-prior-free \textbf{Ne}ural \textbf{R}adiance \textbf{F}ields) to optimize NeRF with unconstrained image collections without camera pose prior. We tackle these challenges with surrogate tasks that optimize color-insensitive feature fields and a separate module for transient occluders to block their influence on pose estimation. In addition, we introduce a candidate head to enable more robust pose estimation and transient-aware depth supervision to minimize the effect of incorrect prior. Our experiments verify the superior performance of our method compared to the baselines including BARF and its variants in a challenging internet photo collection, \textit{Phototourism} dataset. The code of UP-NeRF is available at \url{https://github.com/mlvlab/UP-NeRF}.
• Abstract（参考訳）: neural radiance field (nerf) は高忠実度画像とカメラポーズを持つ新しいビュー合成を可能にした。 その後の作業は、NeRFとカメラのポーズを共同最適化することで、ポーズの必要をなくすことに成功した。 しかし、これらの作品は、フォトメトリック一貫性やオクルーダーフリーな画像コレクション、ビデオからの一連の画像など、比較的単純な設定に限られている。 そのため、照度や過渡オクローダの異なる制約のない画像を扱うのが困難である。 本稿では,NeRFをカメラポーズのない非制約画像コレクションで最適化するために, {textbf{UP-NeRF} (\textbf{U}nconstrained \textbf{P}ose-prior-free \textbf{Ne}ural \textbf{R}adiance \textbf{F}ields)を提案する。 色に敏感な特徴フィールドを最適化するsurrogateタスクと、ポーズ推定への影響をブロックする一時的なオクルーダのための別モジュールによって、これらの課題に取り組む。 さらに,よりロバストなポーズ推定を可能にする候補ヘッドと,不正確な事前の影響を最小限に抑えるための過渡認識奥行き監視を提案する。 提案手法は, BARFとその変種を含むベースラインと比較して, 難解なインターネット写真コレクションである \textit{Phototourism} データセットにおいて優れた性能を示す。 UP-NeRFのコードは \url{https://github.com/mlvlab/UP-NeRF} で公開されている。

関連論文リスト

• CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory [12.460959809597213]
  ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
  論文  参考訳（メタデータ） (2024-04-22T06:07:06Z)
• Pose-Free Neural Radiance Fields via Implicit Pose Regularization [117.648238941948]
  IR-NeRFは、暗黙的なポーズ規則化を導入し、ポーズ推定器を非ポーズの実像で精査する革新的なポーズフリー神経放射場である。 特定のシーンの2D画像の収集により、IR-NeRFはシーンの特徴を記憶するシーンコードブックを構築し、シーン固有のポーズ分布を前もって暗黙的にキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T06:14:06Z)
• LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs [56.050550636941836]
  NeRFモデルが野生で広く展開されるのを防ぐ重要な障害は、正確なカメラのポーズに依存することである。 カメラのポーズとニューラルフィールドを協調して推定するLU-NeRFという新しい手法を提案する。 LU-NeRFパイプラインは、ポーズに制限的な仮定を加えることなく、未提案のNeRFに対する事前試みより優れることを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:56:22Z)
• DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields [75.35416391705503]
  BARFやGARFといった最近の研究は、座標MLPに基づくニューラルレイディアンスフィールド(NeRF)でカメラのポーズを調整することができる。 印象的な結果にもかかわらず、これらの手法は画像特徴抽出を必要とするGeneralizable NeRF(GeNeRF)には適用できない。 本稿では,GeNeRFとカメラポーズを協調的に最適化することの難しさをまず分析し,さらにこれらの問題に対処するためのDBARFを提案する。
  論文  参考訳（メタデータ） (2023-03-25T14:18:30Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• Structure-Aware NeRF without Posed Camera via Epipolar Constraint [8.115535686311249]
  リアルなノベルビュー合成のためのニューラル・ラディアンス・フィールド(NeRF)は、カメラのポーズを事前に取得する必要がある。 ポーズ抽出とビュー合成を1つのエンドツーエンドの手順に統合し、それらが相互に利益を得ることができるようにします。
  論文  参考訳（メタデータ） (2022-10-01T03:57:39Z)
• SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections [49.3480550339732]
  完全に未知のキャプチャ条件下でのオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける根本的な課題である。 形状, BRDF, 画像当たりのカメラのポーズと照明を推定するための共同最適化フレームワークを提案する。 本手法は,オブジェクトのオンライン画像収集に利用し,AR/VRなどのいくつかのユースケースに対して,再生可能な3Dアセットを生成する。
  論文  参考訳（メタデータ） (2022-05-31T13:16:48Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。