論文の概要: CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses

• arxiv url: http://arxiv.org/abs/2310.09776v1
• Date: Sun, 15 Oct 2023 08:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 18:09:51.853073
• Title: CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses
• Title（参考訳）: CBARF:不完全なカメラケースからの束調整型ニューラルラジアンスフィールド
• Authors: Hongyu Fu, Xin Yu, Lincheng Li, and Li Zhang
• Abstract要約: 本稿では,カメラポーズの同時最適化を可能にする新しい3次元再構成フレームワークを提案する。 簡単に言えば、我々のフレームワークは、粗い方法でカメラのポーズを最適化し、修正されたポーズに基づいてシーンを再構築する。 CBARFモデルはポーズ最適化と新しいビュー合成の両方において最先端の性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 23.427859480410934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing volumetric neural rendering techniques, such as Neural Radiance Fields (NeRF), face limitations in synthesizing high-quality novel views when the camera poses of input images are imperfect. To address this issue, we propose a novel 3D reconstruction framework that enables simultaneous optimization of camera poses, dubbed CBARF (Cascaded Bundle-Adjusting NeRF).In a nutshell, our framework optimizes camera poses in a coarse-to-fine manner and then reconstructs scenes based on the rectified poses. It is observed that the initialization of camera poses has a significant impact on the performance of bundle-adjustment (BA). Therefore, we cascade multiple BA modules at different scales to progressively improve the camera poses. Meanwhile, we develop a neighbor-replacement strategy to further optimize the results of BA in each stage. In this step, we introduce a novel criterion to effectively identify poorly estimated camera poses. Then we replace them with the poses of neighboring cameras, thus further eliminating the impact of inaccurate camera poses. Once camera poses have been optimized, we employ a density voxel grid to generate high-quality 3D reconstructed scenes and images in novel views. Experimental results demonstrate that our CBARF model achieves state-of-the-art performance in both pose optimization and novel view synthesis, especially in the existence of large camera pose noise.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(Neural Radiance Fields, NeRF)のような既存のボリューム・ニューラルレンダリング技術は、入力画像のカメラポーズが不完全である場合に、高品質なノベルビューを合成する際の制限に直面している。 そこで我々は,CBARF(Cascaded Bundle-Adjusting NeRF)と呼ばれるカメラポーズの同時最適化を実現する新しい3D再構成フレームワークを提案する。 簡単に言えば、我々のフレームワークはカメラのポーズを粗い方法で最適化し、修正されたポーズに基づいてシーンを再構築する。 カメラポーズの初期化は,バンドル調整(BA)の性能に大きな影響を与えることが観察された。 したがって、複数のBAモジュールを異なるスケールでカスケードし、カメラのポーズを徐々に改善する。 一方,各段階においてbaの結果をさらに最適化する隣り合わせ戦略を考案する。 本稿では,推定精度の低いカメラポーズを効果的に識別するための新しい基準を提案する。 そして、それらを隣り合うカメラのポーズに置き換え、不正確なカメラポーズの影響をさらに排除します。 カメラのポーズが最適化されると、高画質の3D再構成シーンと画像を生成するために密度ボクセルグリッドが使用される。 実験結果から,CBARFモデルはポーズ最適化と新しいビュー合成の両方において,特に大きなカメラポーズノイズの存在下で,最先端の性能を実現することが示された。

関連論文リスト

• USP-Gaussian: Unifying Spike-based Image Reconstruction, Pose Correction and Gaussian Splatting [45.246178004823534]
  スパイクカメラは、0-1ビットストリームを40kHzで撮影する革新的なニューロモルフィックカメラとして、ますます3D再構成タスクに採用されている。 以前のスパイクベースの3D再構成アプローチでは、ケースケースのパイプラインを使うことが多い。 本稿では,スパイクに基づく画像再構成,ポーズ補正,ガウス的スプラッティングをエンドツーエンドのフレームワークに統一する,相乗的最適化フレームワーク textbfUSP-Gaussian を提案する。
  論文  参考訳（メタデータ） (2024-11-15T14:15:16Z)
• Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
  本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。 合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T06:19:41Z)
• COLMAP-Free 3D Gaussian Splatting [88.420322646756]
  本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-12-12T18:39:52Z)
• Continuous Pose for Monocular Cameras in Neural Implicit Representation [65.40527279809474]
  本稿では,時間的連続的な機能として単眼カメラのポーズを最適化することの有効性を示す。 提案手法を4つの異なる実験環境において活用する。 連続運動の仮定を用いて、ポーズの変化は実際には6度以下の自由度(DOF)を持つ多様体に生きることができる。 我々はこの低DOF動作表現を固有運動と呼び、vSLAM設定でのアプローチを用い、カメラ追跡性能を高く評価した。
  論文  参考訳（メタデータ） (2023-11-28T13:14:58Z)
• ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding [40.36882490080341]
  暗黙のポーズ埋め込みを用いたコントラスト学習による新しい3D認識型GAN最適化手法を提案する。 判別器は、与えられた画像から高次元の暗黙のポーズ埋め込みを推定し、ポーズ埋め込みについて対照的な学習を行う。 提案手法は、カメラのポーズを検索したり推定したりしないため、標準カメラのポーズが未定義であるデータセットに使用できる。
  論文  参考訳（メタデータ） (2023-04-27T07:53:13Z)
• Neural Lens Modeling [50.57409162437732]
  NeuroLens(ニューロレンス)は、点投影と光線鋳造に使用できる歪みと磁化のための神経レンズモデルである。 古典的なキャリブレーションターゲットを使用してプリキャプチャのキャリブレーションを行うことができ、後に3D再構成の際にキャリブレーションやリファインメントを行うために使用できる。 このモデルは、多くのレンズタイプにまたがって一般化されており、既存の3D再構成とレンダリングシステムとの統合は容易である。
  論文  参考訳（メタデータ） (2023-04-10T20:09:17Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。