論文の概要: Continuous Pose for Monocular Cameras in Neural Implicit Representation
- arxiv url: http://arxiv.org/abs/2311.17119v2
- Date: Tue, 27 Feb 2024 22:03:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 18:24:58.902952
- Title: Continuous Pose for Monocular Cameras in Neural Implicit Representation
- Title（参考訳）: 神経陰影表現における単眼カメラの連続ポーズ
- Authors: Qi Ma, Danda Pani Paudel, Ajad Chhatkuli, Luc Van Gool
- Abstract要約: 本稿では,時間的連続的な機能として単眼カメラのポーズを最適化することの有効性を示す。
提案手法を4つの異なる実験環境において活用する。
連続運動の仮定を用いて、ポーズの変化は実際には6度以下の自由度(DOF)を持つ多様体に生きることができる。
我々はこの低DOF動作表現を固有運動と呼び、vSLAM設定でのアプローチを用い、カメラ追跡性能を高く評価した。
- 参考スコア（独自算出の注目度）: 65.40527279809474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we showcase the effectiveness of optimizing monocular camera
poses as a continuous function of time. The camera poses are represented using
an implicit neural function which maps the given time to the corresponding
camera pose. The mapped camera poses are then used for the downstream tasks
where joint camera pose optimization is also required. While doing so, the
network parameters -- that implicitly represent camera poses -- are optimized.
We exploit the proposed method in four diverse experimental settings, namely,
(1) NeRF from noisy poses; (2) NeRF from asynchronous Events; (3) Visual
Simultaneous Localization and Mapping (vSLAM); and (4) vSLAM with IMUs. In all
four settings, the proposed method performs significantly better than the
compared baselines and the state-of-the-art methods. Additionally, using the
assumption of continuous motion, changes in pose may actually live in a
manifold that has lower than 6 degrees of freedom (DOF) is also realized. We
call this low DOF motion representation as the \emph{intrinsic motion} and use
the approach in vSLAM settings, showing impressive camera tracking performance.
- Abstract（参考訳）: 本稿では,時間的連続的な機能として単眼カメラポーズの最適化の有効性を示す。
カメラポーズは、所定の時刻を対応するカメラポーズにマッピングする暗黙のニューラル関数を使用して表現される。
マッピングされたカメラポーズは、ジョイントカメラポーズ最適化が必要な下流タスクに使用される。
その際、暗黙的にカメラポーズを表すネットワークパラメータが最適化される。
提案手法は,(1)ノイズのあるポーズからのNeRF,(2)非同期イベントからのNeRF,(3)視覚的局所化とマッピング(vSLAM),(4)VSLAMとIMUの4つの異なる実験環境において有効である。
これら4つの設定において,提案手法は比較したベースラインや最先端手法よりも性能が優れている。
さらに、連続運動の仮定を用いて、ポーズの変化は実際には6度以下の自由度(DOF)を持つ多様体に存在することができる。
我々はこの低DOF動作表現を \emph{intrinsic motion} と呼び、vSLAM設定でこのアプローチを使用し、カメラ追跡性能を高く評価した。
関連論文リスト
- Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。
カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。
IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
論文 参考訳（メタデータ） (2024-09-11T08:36:49Z) - ADen: Adaptive Density Representations for Sparse-view Camera Pose Estimation [17.097170273209333]
画像からカメラのポーズを復元することは、3Dコンピュータビジョンの基本課題である。
最近のデータ駆動型アプローチは、6DoFカメラのポーズを後退させたり、回転を確率分布として定式化したりすることで、カメラのポーズを直接出力することを目指している。
本稿では, ジェネレータと識別器を用いて2つのフレームワークを統合することを提案する。
論文 参考訳（メタデータ） (2024-08-16T22:45:46Z) - Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳（メタデータ） (2024-02-22T18:59:56Z) - COLMAP-Free 3D Gaussian Splatting [88.420322646756]
本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。
入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。
提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-12-12T18:39:52Z) - CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect
Camera Poses [23.427859480410934]
本稿では,カメラポーズの同時最適化を可能にする新しい3次元再構成フレームワークを提案する。
簡単に言えば、我々のフレームワークは、粗い方法でカメラのポーズを最適化し、修正されたポーズに基づいてシーンを再構築する。
CBARFモデルはポーズ最適化と新しいビュー合成の両方において最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2023-10-15T08:34:40Z) - Structure-Aware NeRF without Posed Camera via Epipolar Constraint [8.115535686311249]
リアルなノベルビュー合成のためのニューラル・ラディアンス・フィールド(NeRF)は、カメラのポーズを事前に取得する必要がある。
ポーズ抽出とビュー合成を1つのエンドツーエンドの手順に統合し、それらが相互に利益を得ることができるようにします。
論文 参考訳（メタデータ） (2022-10-01T03:57:39Z) - ROSEFusion: Random Optimization for Online Dense Reconstruction under
Fast Camera Motion [15.873973449155313]
RGB-Dシーケンスに基づく再構成は、これまで比較的遅いカメラ動作(1m/s)に抑制されてきた。
高速モーションは深度融合に2つの課題をもたらす:1)フレーム間の大きな回転によるカメラポーズ最適化の非線形性、2)動きのぼかしによる確実に追跡可能な特徴の欠如。
ランダム最適化による慣性測定がない場合の高速移動カメラ追跡の難しさに対処することを提案する。
効率的なテンプレートベースパーティクルセットの進化と効果的なフィットネス機能により,高速カメラ動作(最大4m/s)下での良好な姿勢追跡を実現する。
論文 参考訳（メタデータ） (2021-05-12T11:37:34Z) - Learning Neural Representation of Camera Pose with Matrix Representation
of Pose Shift via View Synthesis [105.37072293076767]
カメラポーズを効果的に表現する方法は、3Dコンピュータビジョンの重要な問題です。
カメラポーズと3Dシーンのニューラル表現を学習するためのアプローチを提案する。
合成および実データに対する広範な実験を行う。
論文 参考訳（メタデータ） (2021-04-04T00:40:53Z) - GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。
提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
論文 参考訳（メタデータ） (2021-03-29T13:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。