論文の概要: RefiNeRF: Modelling dynamic neural radiance fields with inconsistent or
missing camera parameters
- arxiv url: http://arxiv.org/abs/2303.08695v1
- Date: Wed, 15 Mar 2023 15:27:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-03-16 13:11:54.659045
- Title: RefiNeRF: Modelling dynamic neural radiance fields with inconsistent or
missing camera parameters
- Title（参考訳）: RefiNeRF: カメラパラメータが不一致または欠落した動的ニューラル放射場をモデル化する
- Authors: Shuja Khalid, Frank Rudzicz
- Abstract要約: 新しいビュー合成(NVS)は、限られた入力画像からシーンの新しいビューを合成するコンピュータビジョンにおいて難しい課題である。
本研究では、NVIDIA動的シーンなどの動的データセットからの非ポーズ画像を利用して、データから直接カメラパラメータを学習する手法を提案する。
静的および動的シーンにおける本手法の有効性を実証し,従来のSfMおよびMVS手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 16.7345472998388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Novel view synthesis (NVS) is a challenging task in computer vision that
involves synthesizing new views of a scene from a limited set of input images.
Neural Radiance Fields (NeRF) have emerged as a powerful approach to address
this problem, but they require accurate knowledge of camera \textit{intrinsic}
and \textit{extrinsic} parameters. Traditionally, structure-from-motion (SfM)
and multi-view stereo (MVS) approaches have been used to extract camera
parameters, but these methods can be unreliable and may fail in certain cases.
In this paper, we propose a novel technique that leverages unposed images from
dynamic datasets, such as the NVIDIA dynamic scenes dataset, to learn camera
parameters directly from data. Our approach is highly extensible and can be
integrated into existing NeRF architectures with minimal modifications. We
demonstrate the effectiveness of our method on a variety of static and dynamic
scenes and show that it outperforms traditional SfM and MVS approaches. The
code for our method is publicly available at
\href{https://github.com/redacted/refinerf}{https://github.com/redacted/refinerf}.
Our approach offers a promising new direction for improving the accuracy and
robustness of NVS using NeRF, and we anticipate that it will be a valuable tool
for a wide range of applications in computer vision and graphics.
- Abstract（参考訳）: 新規なビュー合成(nvs)は、限られた入力画像からシーンの新しいビューを合成することを含むコンピュータビジョンにおける挑戦的なタスクである。
neural radiance fields (nerf) はこの問題に対処するための強力なアプローチとして登場したが、それらは camera \textit{intrinsic} と \textit{extrinsic} パラメータの正確な知識を必要とする。
伝統的に、カメラパラメータを抽出するためにStructure-from-motion (SfM) とMulti-view stereo (MVS) アプローチが用いられてきたが、これらの手法は信頼性が低く、場合によっては失敗する可能性がある。
本稿では,NVIDIA動的シーンデータセットなどの動的データセットからの非ポーズ画像を利用して,データから直接カメラパラメータを学習する手法を提案する。
我々のアプローチは非常に拡張性が高く、最小限の変更で既存のNeRFアーキテクチャに統合できる。
静的および動的シーンにおける本手法の有効性を実証し,従来のSfMおよびMVS手法よりも優れていることを示す。
このメソッドのコードは \href{https://github.com/redacted/refinerf}{https://github.com/redacted/refinerf} で公開されている。
提案手法は,nvsの精度とロバスト性を向上させるための新しい方向性を提供し,コンピュータビジョンやグラフィックスの幅広い応用に有用なツールになることを期待している。
関連論文リスト
- DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video [25.551944406980297]
複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳（メタデータ） (2024-01-10T00:40:05Z) - CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental
Learning [23.080474939586654]
我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。
CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。
その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
論文 参考訳（メタデータ） (2023-12-14T09:09:31Z) - NeRFtrinsic Four: An End-To-End Trainable NeRF Jointly Optimizing
Diverse Intrinsic and Extrinsic Camera Parameters [7.165373389474194]
ニューラル放射場(NeRF)を用いた新しいビュー合成は、新しい視点から高品質な画像を生成する最先端技術である。
カメラパラメータとNeRFの結合最適化に関する最近の研究は、ノイズ外在カメラパラメータの精製に重点を置いている。
我々はこれらの制限に対処するために、NeRFtrinsic Fourと呼ばれる新しいエンドツーエンドトレーニング可能なアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-16T15:44:31Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳（メタデータ） (2021-04-13T17:59:51Z) - NeRF--: Neural Radiance Fields Without Known Camera Parameters [31.01560143595185]
本稿では、カメラのポーズや内在性のない2次元画像からの新しいビュー合成(NVS)問題に取り組む。
RGB画像のみのNeRFモデルをトレーニングするためのエンドツーエンドのフレームワーク「NeRF--」を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:52:34Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳（メタデータ） (2020-11-27T19:06:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。