論文の概要: A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses
from HoloLens Trajectories and Structure from Motion
- arxiv url: http://arxiv.org/abs/2304.10664v1
- Date: Thu, 20 Apr 2023 22:17:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 16:25:27.513788
- Title: A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses
from HoloLens Trajectories and Structure from Motion
- Title(参考訳): ニューラル・ラジアンス・フィールド(nerf)によるhololens軌道からのカメラポーズの3次元解析と運動による構造
- Authors: Miriam J\"ager, Patrick H\"ubner, Dennis Haitz, Boris Jutzi
- Abstract要約: 我々はNeural Radiance Fields (NeRFs) を用いたHoloLensデータから直接の高分解能3次元再構成のためのワークフローを提案する。
NeRFは、カメラのポーズと関連する画像のセットを入力としてトレーニングし、各位置の密度と色値を推定する。
その結果、内部カメラのポーズは、x軸のまわりを単純な回転で25dBのPSNRでNeRF収束し、3D再構成を可能にすることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Fields (NeRFs) are trained using a set of camera poses and
associated images as input to estimate density and color values for each
position. The position-dependent density learning is of particular interest for
photogrammetry, enabling 3D reconstruction by querying and filtering the NeRF
coordinate system based on the object density. While traditional methods like
Structure from Motion are commonly used for camera pose calculation in
pre-processing for NeRFs, the HoloLens offers an interesting interface for
extracting the required input data directly. We present a workflow for
high-resolution 3D reconstructions almost directly from HoloLens data using
NeRFs. Thereby, different investigations are considered: Internal camera poses
from the HoloLens trajectory via a server application, and external camera
poses from Structure from Motion, both with an enhanced variant applied through
pose refinement. Results show that the internal camera poses lead to NeRF
convergence with a PSNR of 25\,dB with a simple rotation around the x-axis and
enable a 3D reconstruction. Pose refinement enables comparable quality compared
to external camera poses, resulting in improved training process with a PSNR of
27\,dB and a better 3D reconstruction. Overall, NeRF reconstructions outperform
the conventional photogrammetric dense reconstruction using Multi-View Stereo
in terms of completeness and level of detail.
- Abstract(参考訳): ニューラルレージアンスフィールド(NeRF)は、カメラのポーズと関連する画像を入力としてトレーニングし、各位置の密度と色値を推定する。
位置依存密度学習はフォトグラメトリーに特に興味を持ち、対象密度に基づいてnerf座標系を問合せ・フィルタリングすることで3次元再構成を可能にする。
Structure from Motionのような従来の方法は、NeRFの前処理でカメラのポーズ計算によく使われているが、HoloLensは必要な入力データを直接抽出するための興味深いインターフェースを提供する。
我々はNeRFを用いてHoloLensデータから直接高解像度3次元再構成を行うワークフローを提案する。
これにより、内部カメラはサーバーアプリケーションを介してhololens軌道から、外部カメラは動作から構造からポーズし、両者はポーズ調整によって拡張されたバリエーションが適用される。
その結果,内部カメラは,x軸まわりに単純な回転を持つ25\,dbのpsnrでnerf収束し,3次元再構成が可能となった。
ポースの改良により、外部カメラのポーズに比べて品質が向上し、PSNRが27\,dBでトレーニングプロセスが改善され、3Dリコンストラクションも改善された。
全体として、NeRF再構成は、完全性と詳細度の観点から、Multi-View Stereoを用いた従来のフォトグラム密度再構成よりも優れている。
関連論文リスト
- IL-NeRF: Incremental Learning for Neural Radiance Fields with Camera
Pose Alignment [12.580584725107173]
インクリメンタルなNeRFトレーニングのための新しいフレームワークであるIL-NeRFを提案する。
IL-NeRFは、インクリメンタルなNeRFトレーニングを処理し、ベースラインを最大54.04%のレンダリング品質で上回ります。
論文 参考訳(メタデータ) (2023-12-10T04:12:27Z) - ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳(メタデータ) (2023-12-05T18:59:58Z) - R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。
提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。
この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
論文 参考訳(メタデータ) (2023-08-28T17:13:49Z) - 3D Reconstruction of Spherical Images based on Incremental Structure
from Motion [2.6432771146480283]
本研究では, 球面対応を用いた相対配向アルゴリズム, シーンと球面間の3次元対応を用いた絶対配向, BA最適化のためのコスト関数について検討した。
上記のアルゴリズムを用いて,球面画像に対して段階的SfM(Structure from Motion)ワークフローを提案する。
論文 参考訳(メタデータ) (2023-06-22T09:49:28Z) - 3D reconstruction from spherical images: A review of techniques,
applications, and prospects [2.6432771146480283]
3次元再構成は、現代のフォトグラムシステムにおいてますます重要な役割を担っている。
プロ用および消費者向けの球面カメラの急速な進化と広範囲な利用により、球面画像は都市と屋内のシーンの3Dモデリングに大きな可能性を示している。
本研究は,データ取得,特徴検出とマッチング,画像配向,密マッチングの観点から,球面画像の3次元再構成技術の現状を詳細に調査する。
論文 参考訳(メタデータ) (2023-02-09T08:45:27Z) - Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。
DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。
本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
論文 参考訳(メタデータ) (2022-11-22T03:10:46Z) - AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware
Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。
本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。
私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文 参考訳(メタデータ) (2022-11-17T17:22:28Z) - VMRF: View Matching Neural Radiance Fields [57.93631771072756]
VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。
VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。
特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
論文 参考訳(メタデータ) (2022-07-06T12:26:40Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳(メタデータ) (2021-04-13T17:59:51Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳(メタデータ) (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。