論文の概要: TD-NeRF: Novel Truncated Depth Prior for Joint Camera Pose and Neural Radiance Field Optimization
- arxiv url: http://arxiv.org/abs/2405.07027v1
- Date: Sat, 11 May 2024 14:57:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 18:47:31.269283
- Title: TD-NeRF: Novel Truncated Depth Prior for Joint Camera Pose and Neural Radiance Field Optimization
- Title（参考訳）: TD-NeRF:ジョイントカメラポースとニューラルラジアンスフィールド最適化に先立つ新しい切り裂き深さ
- Authors: Zhen Tan, Zongtan Zhou, Yangbing Ge, Zi Wang, Xieyuanli Chen, Dewen Hu,
- Abstract要約: 正確なカメラポーズへの依存は、3D再構成とSLAMタスクのためのNeural Radiance Fields(NeRF)モデルを広く展開する上で大きな障壁となる。
既存の手法では、カメラのポーズを協調的に最適化するために単眼深度前処理を導入し、NeRFは奥行き前処理を完全に活用できず、固有のノイズの影響を無視する。
本稿では,未知のカメラポーズからNeRFをトレーニングするための新しいアプローチであるTrncated Depth NeRF(TD-NeRF)を提案する。
- 参考スコア（独自算出の注目度）: 19.73020713365866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The reliance on accurate camera poses is a significant barrier to the widespread deployment of Neural Radiance Fields (NeRF) models for 3D reconstruction and SLAM tasks. The existing method introduces monocular depth priors to jointly optimize the camera poses and NeRF, which fails to fully exploit the depth priors and neglects the impact of their inherent noise. In this paper, we propose Truncated Depth NeRF (TD-NeRF), a novel approach that enables training NeRF from unknown camera poses - by jointly optimizing learnable parameters of the radiance field and camera poses. Our approach explicitly utilizes monocular depth priors through three key advancements: 1) we propose a novel depth-based ray sampling strategy based on the truncated normal distribution, which improves the convergence speed and accuracy of pose estimation; 2) to circumvent local minima and refine depth geometry, we introduce a coarse-to-fine training strategy that progressively improves the depth precision; 3) we propose a more robust inter-frame point constraint that enhances robustness against depth noise during training. The experimental results on three datasets demonstrate that TD-NeRF achieves superior performance in the joint optimization of camera pose and NeRF, surpassing prior works, and generates more accurate depth geometry. The implementation of our method has been released at https://github.com/nubot-nudt/TD-NeRF.
- Abstract（参考訳）: 正確なカメラポーズへの依存は、3D再構成とSLAMタスクのためのNeural Radiance Fields(NeRF)モデルを広く展開する上で大きな障壁となる。
既存の手法では、カメラのポーズを協調的に最適化するために単眼深度前処理を導入し、NeRFは奥行き前処理を完全に活用できず、固有のノイズの影響を無視する。
本稿では,未知のカメラポーズからNeRFをトレーニングするための新しいアプローチであるTrncated Depth NeRF(TD-NeRF)を提案する。
我々のアプローチは、三つの重要な進歩を通して、単分子深度を明示的に活用する。
1) 提案手法では, 提案手法の収束速度とポーズ推定精度を向上させるため, トランカット正規分布に基づく新しい深度線サンプリング手法を提案する。
2) 局所的なミニマを回避し, 深度幾何学を洗練させるため, 深度精度を徐々に向上させる粗大な訓練戦略を導入する。
3) より堅牢なフレーム間制約を提案し, トレーニング中の奥行き雑音に対する堅牢性を高める。
3つのデータセットによる実験結果から,TD-NeRFはカメラポーズとNeRFの共同最適化において優れた性能を示し,従来よりも優れ,より正確な深度形状を生成することがわかった。
本手法の実装はhttps://github.com/nubot-nudt/TD-NeRFで公開された。
関連論文リスト
- CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory [12.460959809597213]
ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。
実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
論文 参考訳（メタデータ） (2024-04-22T06:07:06Z) - Depth-guided NeRF Training via Earth Mover's Distance [0.6749750044497732]
我々は、NeRF監視のための深度における不確実性に対する新しいアプローチを提案する。
既訓練拡散モデルを用いて,デノナイジング過程における深度予測と不確かさの把握を行う。
我々の深度誘導型NeRFは、標準深度測定値のすべてのベースラインを大きなマージンで上回る。
論文 参考訳（メタデータ） (2024-03-19T23:54:07Z) - Improving Robustness for Joint Optimization of Camera Poses and
Decomposed Low-Rank Tensorial Radiance Fields [26.4340697184666]
本稿では,分解された低ランクテンソルで表現されるカメラポーズとシーン形状を共同で洗練するアルゴリズムを提案する。
また,スムーズな2次元監視手法,ランダムスケールカーネルパラメータ,エッジ誘導損失マスクを提案する。
論文 参考訳（メタデータ） (2024-02-20T18:59:02Z) - AltNeRF: Learning Robust Neural Radiance Field via Alternating
Depth-Pose Optimization [25.44715538841181]
AltNeRFは、既知のカメラのポーズに頼ることなく、回復力のあるNeRF表現を作成するように設計された新しいフレームワークである。
我々は、NeRF出力を調和して融合させる交互アルゴリズムを導入する。
SMDEは、コンデンス駆動のメカニズムにより拡張される。
深度事前の整合性
実験では、高忠実でロバストな新奇なビューを生成する上で、AltNeRFの魅力的な能力を示す。
論文 参考訳（メタデータ） (2023-08-19T12:41:35Z) - LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs [56.050550636941836]
NeRFモデルが野生で広く展開されるのを防ぐ重要な障害は、正確なカメラのポーズに依存することである。
カメラのポーズとニューラルフィールドを協調して推定するLU-NeRFという新しい手法を提案する。
LU-NeRFパイプラインは、ポーズに制限的な仮定を加えることなく、未提案のNeRFに対する事前試みより優れることを示す。
論文 参考訳（メタデータ） (2023-06-08T17:56:22Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳（メタデータ） (2022-07-04T02:27:07Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-09-02T17:54:31Z) - Depth-supervised NeRF: Fewer Views and Faster Training for Free [66.16386801362643]
DS-NeRF(DS-NeRF)は、容易に利用可能な深度監視の利点を生かした神経放射場学習の損失である。
DS-NeRFはトレーニングを2～6倍高速化しながら、トレーニングビューを少なくすることで、より正確な画像をレンダリングできることがわかった。
論文 参考訳（メタデータ） (2021-07-06T17:58:35Z) - GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。
提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
論文 参考訳（メタデータ） (2021-03-29T13:36:38Z) - Robust Consistent Video Depth Estimation [65.53308117778361]
本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。
本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。
従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
論文 参考訳（メタデータ） (2020-12-10T18:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。