論文の概要: CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory

• arxiv url: http://arxiv.org/abs/2404.13896v1
• Date: Mon, 22 Apr 2024 06:07:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 15:05:12.956909
• Title: CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory
• Title（参考訳）: CT-NeRF:増分最適化ニューラルラジアンス場と複雑な軌跡を持つ可能性
• Authors: Yunlong Ran, Yanxu Li, Qi Ye, Yuchi Huo, Zechun Bai, Jiahao Sun, Jiming Chen,
• Abstract要約: ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
• 参考スコア（独自算出の注目度）: 12.460959809597213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance field (NeRF) has achieved impressive results in high-quality 3D scene reconstruction. However, NeRF heavily relies on precise camera poses. While recent works like BARF have introduced camera pose optimization within NeRF, their applicability is limited to simple trajectory scenes. Existing methods struggle while tackling complex trajectories involving large rotations. To address this limitation, we propose CT-NeRF, an incremental reconstruction optimization pipeline using only RGB images without pose and depth input. In this pipeline, we first propose a local-global bundle adjustment under a pose graph connecting neighboring frames to enforce the consistency between poses to escape the local minima caused by only pose consistency with the scene structure. Further, we instantiate the consistency between poses as a reprojected geometric image distance constraint resulting from pixel-level correspondences between input image pairs. Through the incremental reconstruction, CT-NeRF enables the recovery of both camera poses and scene structure and is capable of handling scenes with complex trajectories. We evaluate the performance of CT-NeRF on two real-world datasets, NeRFBuster and Free-Dataset, which feature complex trajectories. Results show CT-NeRF outperforms existing methods in novel view synthesis and pose estimation accuracy.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は高品質な3次元シーン再構成において顕著な成果を上げている。 しかし、NeRFは正確なカメラのポーズに大きく依存している。 BARFのような最近の研究は、NeRF内にカメラポーズ最適化を導入しているが、その適用性は単純な軌跡シーンに限られている。 既存の方法は、大きな回転を含む複雑な軌道に対処しながら苦労する。 この制限に対処するために,ポーズや深さの入力を伴わずにRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 本稿では,まず,周辺フレームを接続するポーズグラフに基づいて,シーン構造との整合性のみによって生じる局所的なミニマから逃れるために,ポーズ間の整合性を確保することを提案する。 さらに、入力画像対間の画素レベルの対応から生じる幾何的画像距離制約として、ポーズ間の一貫性をインスタンス化する。 インクリメンタルな再構成により、CT-NeRFは、カメラポーズとシーン構造の両方の回復を可能にし、複雑な軌道でシーンを処理できる。 我々は,複雑な軌跡を持つ2つの実世界のデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。 その結果、CT-NeRFは、新しいビュー合成法やポーズ推定精度において、既存の手法よりも優れていた。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• Blending Distributed NeRFs with Tri-stage Robust Pose Optimization [14.36438070050125]
  3段ポーズ最適化を用いた分散NeRFシステムを提案する。 本稿では,三段ポーズ最適化を用いた分散NeRFシステムを提案する。
  論文  参考訳（メタデータ） (2024-05-05T10:27:03Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• Pose-Free Neural Radiance Fields via Implicit Pose Regularization [117.648238941948]
  IR-NeRFは、暗黙的なポーズ規則化を導入し、ポーズ推定器を非ポーズの実像で精査する革新的なポーズフリー神経放射場である。 特定のシーンの2D画像の収集により、IR-NeRFはシーンの特徴を記憶するシーンコードブックを構築し、シーン固有のポーズ分布を前もって暗黙的にキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T06:14:06Z)
• LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs [56.050550636941836]
  NeRFモデルが野生で広く展開されるのを防ぐ重要な障害は、正確なカメラのポーズに依存することである。 カメラのポーズとニューラルフィールドを協調して推定するLU-NeRFという新しい手法を提案する。 LU-NeRFパイプラインは、ポーズに制限的な仮定を加えることなく、未提案のNeRFに対する事前試みより優れることを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:56:22Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。