論文の概要: CaLDiff: Camera Localization in NeRF via Pose Diffusion

• arxiv url: http://arxiv.org/abs/2312.15242v1
• Date: Sat, 23 Dec 2023 12:36:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 19:01:44.779004
• Title: CaLDiff: Camera Localization in NeRF via Pose Diffusion
• Title（参考訳）: CaLDiff:Pose DiffusionによるNeRFのカメラローカライゼーション
• Authors: Rashik Shrestha, Bishad Koju, Abhigyan Bhusal, Danda Pani Paudel, Fran\c{c}ois Rameau
• Abstract要約: 本稿では,カメラポーズ調整のための拡散モデルを用いたNeRFにおけるカメラのローカライズ問題について検討する。 まず、提案したポーズ拡散プロセスを用いて粗い位置決めを行い、続いて、NeRFにおけるポーズ反転プロセスの局所的精細化ステップを行う。
• 参考スコア（独自算出の注目度）: 14.03864528324352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the widespread use of NeRF-based implicit 3D representation, the need for camera localization in the same representation becomes manifestly apparent. Doing so not only simplifies the localization process -- by avoiding an outside-the-NeRF-based localization -- but also has the potential to offer the benefit of enhanced localization. This paper studies the problem of localizing cameras in NeRF using a diffusion model for camera pose adjustment. More specifically, given a pre-trained NeRF model, we train a diffusion model that iteratively updates randomly initialized camera poses, conditioned upon the image to be localized. At test time, a new camera is localized in two steps: first, coarse localization using the proposed pose diffusion process, followed by local refinement steps of a pose inversion process in NeRF. In fact, the proposed camera localization by pose diffusion (CaLDiff) method also integrates the pose inversion steps within the diffusion process. Such integration offers significantly better localization, thanks to our downstream refinement-aware diffusion process. Our exhaustive experiments on challenging real-world data validate our method by providing significantly better results than the compared methods and the established baselines. Our source code will be made publicly available.
• Abstract（参考訳）: NeRFベースの暗黙的な3D表現が広く使われるようになると、同じ表現におけるカメラのローカライゼーションの必要性が明らかになる。 そのため、外部のNeRFベースのローカライゼーションを避けることで、ローカライゼーションプロセスを単純化するだけでなく、ローカライゼーションの強化のメリットを提供する可能性がある。 本稿では,カメラポーズ調整のための拡散モデルを用いたNeRFにおけるカメラのローカライズ問題について検討する。 より具体的には、事前訓練されたNeRFモデルを考えると、画像に基づいてランダムに初期化されたカメラポーズを反復的に更新する拡散モデルを訓練する。 テスト時に新しいカメラが2つのステップにローカライズされる: まず、提案したポーズ拡散プロセスを用いて粗いローカライゼーションを行い、続いてNeRFにおけるポーズ反転プロセスの局所的精細化ステップを行う。 実際、ポーズ拡散(caldiff)法によるカメラ位置推定は、拡散過程におけるポーズ反転ステップも統合している。 このような統合は、下流の細分化を意識した拡散プロセスのおかげで、ローカライズ性が大幅に向上します。 実世界のデータに挑戦する実験を徹底的に実施し,比較手法や確立したベースラインよりも優れた結果を提供することにより,提案手法を検証した。 私たちのソースコードは公開されます。

関連論文リスト

• ExpRDiff: Short-exposure Guided Diffusion Model for Realistic Local Motion Deblurring [61.82010103478833]
  そこで本稿では,コンテキストベースの局所的ぼかし検出モジュールを開発し,さらにコンテキスト情報を加えて,ぼかし領域の識別を改善する。 最新のスマートフォンには、短時間露光画像を提供するカメラが備わっていることを考慮し、ぼやけたガイド付き画像復元法を開発した。 上記のコンポーネントを ExpRDiff という名前のシンプルで効果的なネットワークに定式化します。
  論文  参考訳（メタデータ） (2024-12-12T11:42:39Z)
• Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
  カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。 本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。 提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-22T18:59:56Z)
• Global Structure-Aware Diffusion Process for Low-Light Image Enhancement [64.69154776202694]
  本稿では,低照度画像強調問題に対処する拡散型フレームワークについて検討する。 我々は、その固有のODE-軌道の正規化を提唱する。 実験により,提案手法は低照度化において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-10-26T17:01:52Z)
• SE(3) Diffusion Model-based Point Cloud Registration for Robust 6D Object Pose Estimation [66.16525145765604]
  実世界のシナリオにおける6次元オブジェクトポーズ推定のためのSE(3)拡散モデルに基づく点クラウド登録フレームワークを提案する。 提案手法は,3次元登録タスクをデノナイズ拡散過程として定式化し,音源雲の姿勢を段階的に洗練する。 実世界のTUD-L, LINEMOD, およびOccluded-LINEMODデータセットにおいて, 拡散登録フレームワークが顕著なポーズ推定性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-26T12:47:26Z)
• LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs [56.050550636941836]
  NeRFモデルが野生で広く展開されるのを防ぐ重要な障害は、正確なカメラのポーズに依存することである。 カメラのポーズとニューラルフィールドを協調して推定するLU-NeRFという新しい手法を提案する。 LU-NeRFパイプラインは、ポーズに制限的な仮定を加えることなく、未提案のNeRFに対する事前試みより優れることを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:56:22Z)
• Real-World Denoising via Diffusion Model [14.722529440511446]
  実世界のイメージデノイングは、自然の環境で撮影されたノイズの多い画像からクリーンなイメージを復元することを目的としている。 拡散モデルは画像生成の分野で非常に有望な結果を得た。 本稿では,実世界の画像のデノナイズに使用可能な,新しい一般デノナイズ拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-08T04:48:03Z)
• DiffPose: Toward More Reliable 3D Pose Estimation [11.6015323757147]
  逆拡散過程として3次元ポーズ推定を定式化する新しいポーズ推定フレームワーク(DiffPose)を提案する。 提案するDiffPoseは,Human3.6MとMPI-INF-3DHPで広く使用されているポーズ推定ベンチマークにおいて,既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-30T12:22:22Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。