論文の概要: USB-NeRF: Unrolling Shutter Bundle Adjusted Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2310.02687v3
- Date: Mon, 26 Feb 2024 14:59:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 22:21:43.215351
- Title: USB-NeRF: Unrolling Shutter Bundle Adjusted Neural Radiance Fields
- Title（参考訳）: USB-NeRF: シャッターバンドル調整ニューラルラジアンスフィールドの展開
- Authors: Moyang Li, Peng Wang, Lingzhe Zhao, Bangyan Liao and Peidong Liu
- Abstract要約: ニューラルラジアンスフィールド(USB-NeRF)のアンローリングシャッターバンドルについて提案する。
USB-NeRFは、回転シャッター歪みを補正し、NeRFの枠組みの下で同時に正確なカメラモーション軌跡を復元することができる。
我々のアルゴリズムは、RS画像のシーケンスから高忠実度高フレームレートのグローバルシャッタービデオの復元にも利用できる。
- 参考スコア（独自算出の注目度）: 7.671858441929298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) has received much attention recently due to its
impressive capability to represent 3D scene and synthesize novel view images.
Existing works usually assume that the input images are captured by a global
shutter camera. Thus, rolling shutter (RS) images cannot be trivially applied
to an off-the-shelf NeRF algorithm for novel view synthesis. Rolling shutter
effect would also affect the accuracy of the camera pose estimation (e.g. via
COLMAP), which further prevents the success of NeRF algorithm with RS images.
In this paper, we propose Unrolling Shutter Bundle Adjusted Neural Radiance
Fields (USB-NeRF). USB-NeRF is able to correct rolling shutter distortions and
recover accurate camera motion trajectory simultaneously under the framework of
NeRF, by modeling the physical image formation process of a RS camera.
Experimental results demonstrate that USB-NeRF achieves better performance
compared to prior works, in terms of RS effect removal, novel view image
synthesis as well as camera motion estimation. Furthermore, our algorithm can
also be used to recover high-fidelity high frame-rate global shutter video from
a sequence of RS images.
- Abstract（参考訳）: neural radiance fields (nerf)は、3dシーンを表現し、新しいビューイメージを合成する素晴らしい能力により、近年注目を集めている。
既存の作業は通常、入力画像がグローバルシャッターカメラによってキャプチャされると仮定する。
したがって、ローリングシャッター(RS)画像は、新規なビュー合成のための既製のNeRFアルゴリズムに自明に適用できない。
ローリングシャッター効果はカメラポーズ推定の精度にも影響し(例えばCOLMAP)、RS画像によるNeRFアルゴリズムの成功をさらに防ぐことができる。
本稿では,USB-NeRF(Unrolling Shutter Bundle Adjusted Neural Radiance Fields)を提案する。
USB-NeRFは、RSカメラの物理的画像形成過程をモデル化することにより、回転シャッター歪みを補正し、NeRFの枠組みの下で同時に正確なカメラ運動軌跡を復元することができる。
実験結果から, RS効果除去, 新規視像合成, カメラモーション推定の両面で, USB-NeRFは従来よりも優れた性能を示した。
さらに,我々のアルゴリズムは,RS画像から高忠実度高フレームレートグローバルシャッター映像の復元にも利用できる。
関連論文リスト
- LuSh-NeRF: Lighting up and Sharpening NeRFs for Low-light Scenes [38.59630957057759]
我々は,手持ちの低照度画像群からクリーンでシャープなNeRFを再構成できるLush-NeRFという新しいモデルを提案する。
LuSh-NeRFはシーン表現からノイズを分離するScene-Noise Decompositionモジュールを含む。
実験により、LuSh-NeRFは既存のアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2024-11-11T07:22:31Z) - RS-NeRF: Neural Radiance Fields from Rolling Shutter Images [30.719764073204423]
本稿では,RS歪みを用いた入力を用いて,新しいビューから通常の画像を合成する手法であるRS-NeRFを提案する。
これは、RS条件下で画像形成過程を再現する物理モデルを含む。
さらに,基本RS-NeRFモデルの本質的な欠点を,RS特性を掘り下げ,その機能を強化するアルゴリズムを開発することで解決する。
論文 参考訳（メタデータ） (2024-07-14T16:27:11Z) - Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment [23.15130387716121]
本稿では,学習可能なポーズとNeRFパラメータを協調的に最適化するために,Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF)を提案する。
EBAD-NeRFは露光時間中に正確なカメラ軌跡を得ることができ、従来よりもシャープな3D表現を学習することができる。
論文 参考訳（メタデータ） (2024-06-20T14:33:51Z) - CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental
Learning [23.080474939586654]
我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。
CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。
その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
論文 参考訳（メタデータ） (2023-12-14T09:09:31Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。
BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。
提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
論文 参考訳（メタデータ） (2022-11-23T10:53:37Z) - Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。
提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。
例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
論文 参考訳（メタデータ） (2022-10-09T11:46:45Z) - E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。
本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
論文 参考訳（メタデータ） (2022-08-24T04:53:32Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳（メタデータ） (2022-07-04T02:27:07Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳（メタデータ） (2021-04-13T17:59:51Z) - iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。
NeRFはビュー合成のタスクに極めて有効であることが示されている。
論文 参考訳（メタデータ） (2020-12-10T18:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。