論文の概要: Blending Distributed NeRFs with Tri-stage Robust Pose Optimization

• arxiv url: http://arxiv.org/abs/2405.02880v1
• Date: Sun, 5 May 2024 10:27:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 17:50:42.438855
• Title: Blending Distributed NeRFs with Tri-stage Robust Pose Optimization
• Title（参考訳）: 3段ロバストポーズ最適化による分散NeRFのブレンディング
• Authors: Baijun Ye, Caiyun Liu, Xiaoyu Ye, Yuantao Chen, Yuhai Wang, Zike Yan, Yongliang Shi, Hao Zhao, Guyue Zhou,
• Abstract要約: 3段ポーズ最適化を用いた分散NeRFシステムを提案する。 本稿では,三段ポーズ最適化を用いた分散NeRFシステムを提案する。
• 参考スコア（独自算出の注目度）: 14.36438070050125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the limited model capacity, leveraging distributed Neural Radiance Fields (NeRFs) for modeling extensive urban environments has become a necessity. However, current distributed NeRF registration approaches encounter aliasing artifacts, arising from discrepancies in rendering resolutions and suboptimal pose precision. These factors collectively deteriorate the fidelity of pose estimation within NeRF frameworks, resulting in occlusion artifacts during the NeRF blending stage. In this paper, we present a distributed NeRF system with tri-stage pose optimization. In the first stage, precise poses of images are achieved by bundle adjusting Mip-NeRF 360 with a coarse-to-fine strategy. In the second stage, we incorporate the inverting Mip-NeRF 360, coupled with the truncated dynamic low-pass filter, to enable the achievement of robust and precise poses, termed Frame2Model optimization. On top of this, we obtain a coarse transformation between NeRFs in different coordinate systems. In the third stage, we fine-tune the transformation between NeRFs by Model2Model pose optimization. After obtaining precise transformation parameters, we proceed to implement NeRF blending, showcasing superior performance metrics in both real-world and simulation scenarios. Codes and data will be publicly available at https://github.com/boilcy/Distributed-NeRF.
• Abstract（参考訳）: モデル容量が限られているため、広域都市環境のモデリングに分散ニューラルネットワーク場(NeRF)を利用する必要がある。 しかし、現在の分散NeRF登録手法は、レンダリングの精度の差や、最適でないポーズの精度に起因して、エイリアシングアーティファクトに遭遇する。 これらの因子は、NeRFフレームワーク内でのポーズ推定の忠実度を総合的に低下させ、NeRFブレンディング段階における閉塞アーティファクトをもたらす。 本稿では,三段ポーズ最適化を用いた分散NeRFシステムを提案する。 第1段階では、粗大な戦略でMip-NeRF 360をバンドル調整することで、画像の正確なポーズを実現する。 第2段階では,倒立型 Mip-NeRF 360 とトラッピングされた動的低域通過フィルタを併用して,ロバストかつ高精度なポーズの達成を可能にする Frame2Model 最適化を行った。 これに加えて、異なる座標系におけるNeRF間の粗い変換が得られる。 第3段階では、モデル2Modelのポーズ最適化により、NeRF間の変換を微調整する。 正確な変換パラメータを得た後、我々はNeRFブレンディングを実装し、実世界のシナリオとシミュレーションシナリオの両方において優れたパフォーマンス指標を示す。 コードとデータはhttps://github.com/boilcy/Distributed-NeRFで公開される。

関連論文リスト

• CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory [12.460959809597213]
  ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
  論文  参考訳（メタデータ） (2024-04-22T06:07:06Z)
• DiSR-NeRF: Diffusion-Guided View-Consistent Super-Resolution NeRF [50.458896463542494]
  DiSR-NeRFは、ビュー一貫性を持つ超解像(SR)NeRFのための拡散誘導フレームワークである。 我々は,NeRFの固有多視点整合性により不整合問題を緩和するイテレーティブ3Dシンクロナイゼーション(I3DS)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T03:06:23Z)
• Improving Robustness for Joint Optimization of Camera Poses and Decomposed Low-Rank Tensorial Radiance Fields [26.4340697184666]
  本稿では,分解された低ランクテンソルで表現されるカメラポーズとシーン形状を共同で洗練するアルゴリズムを提案する。 また,スムーズな2次元監視手法,ランダムスケールカーネルパラメータ,エッジ誘導損失マスクを提案する。
  論文  参考訳（メタデータ） (2024-02-20T18:59:02Z)
• GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields [41.63632669921749]
  本稿では,GANと拡散を用いた生成的詳細補償フレームワークを提案する。 このフレームワークは、推論時の微調整なしと、鮮明な検証可能な詳細の両方である。 合成データセットと実世界のデータセットの両方の実験では、GD$2$-NeRFはシーンごとの微調整なしに細部を著しく改善している。
  論文  参考訳（メタデータ） (2024-01-01T00:08:39Z)
• LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs [56.050550636941836]
  NeRFモデルが野生で広く展開されるのを防ぐ重要な障害は、正確なカメラのポーズに依存することである。 カメラのポーズとニューラルフィールドを協調して推定するLU-NeRFという新しい手法を提案する。 LU-NeRFパイプラインは、ポーズに制限的な仮定を加えることなく、未提案のNeRFに対する事前試みより優れることを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:56:22Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。