論文の概要: Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment

• arxiv url: http://arxiv.org/abs/2406.14360v1
• Date: Thu, 20 Jun 2024 14:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 13:12:50.687861
• Title: Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment
• Title（参考訳）: イベント駆動型バンドル調整によるニューラルラジアンスフィールドの劣化
• Authors: Yunshan Qi, Lin Zhu, Yifan Zhao, Nan Bao, Jia Li,
• Abstract要約: 本稿では、学習可能なポーズとNeRFパラメータを協調的に最適化するために、Deblurring Neural Radiance Fields (EBAD-NeRF) のためのイベント駆動バンドル調整を提案する。 EBAD-NeRFは、露光時間中に正確なカメラポーズを取得し、以前の作業と比べてよりシャープな3D表現を学習することができる。
• 参考スコア（独自算出の注目度）: 23.15130387716121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) achieve impressive 3D representation learning and novel view synthesis results with high-quality multi-view images as input. However, motion blur in images often occurs in low-light and high-speed motion scenes, which significantly degrade the reconstruction quality of NeRF. Previous deblurring NeRF methods are struggling to estimate information during the exposure time, unable to accurately model the motion blur. In contrast, the bio-inspired event camera measuring intensity changes with high temporal resolution makes up this information deficiency. In this paper, we propose Event-driven Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF) to jointly optimize the learnable poses and NeRF parameters by leveraging the hybrid event-RGB data. An intensity-change-metric event loss and a photo-metric blur loss are introduced to strengthen the explicit modeling of camera motion blur. Experiment results on both synthetic data and real captured data demonstrate that EBAD-NeRF can obtain accurate camera poses during the exposure time and learn sharper 3D representations compared to prior works.
• Abstract（参考訳）: ニューラルラジアンス場(NeRF)は印象的な3次元表現学習と,高品質なマルチビュー画像を入力として,新しいビュー合成結果を実現する。 しかし、低照度かつ高速な動きシーンでは、画像内の動きのぼかしがしばしば発生し、NeRFの再構成品質は著しく低下する。 それまでの劣化したNeRF法は、露出時間中に情報を推定するのに苦労しており、動きのぼかしを正確にモデル化することができない。 対照的に、バイオインスパイアされたイベントカメラは、高時間分解能で強度の変化を測定することで、この情報不足を補う。 本稿では,複合イベントRGBデータを活用することで,学習可能なポーズとNeRFパラメータを協調的に最適化するイベント駆動結合調整(EBAD-NeRF)を提案する。 カメラモーションのぼかしの明示的なモデリングを強化するため、強度変化測定イベントロスと光度ボケロスを導入する。 合成データと実撮影データの両方の実験結果から、EBAD-NeRFは露光時間中に正確なカメラポーズを取得でき、従来よりもシャープな3D表現を学習できることが示されている。

関連論文リスト

• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• E$^3$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images [25.304680391243537]
  E$3$NeRFの高効率イベント強化型NeRFを提案する。 イベントストリームからの時空間情報を利用して,時間的ぼやけから学習注意を均等に分散する。 合成データと実世界のデータの両方の実験により、E$3$NeRFはぼやけた画像から鋭いNeRFを効果的に学習できることを示した。
  論文  参考訳（メタデータ） (2024-08-03T18:47:31Z)
• Mitigating Motion Blur in Neural Radiance Fields with Events and Frames [21.052912896866953]
  本研究では,フレームやイベントを融合させることにより,カメラ動作下でのNeRF再構成を改善する新しい手法を提案する。 我々は、イベント二重積分を追加のモデルベースとして利用して、ぼやけた生成プロセスを明示的にモデル化する。 合成および実データから,提案手法は,フレームのみを使用する既存の劣化型NeRFよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-28T19:06:37Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
  我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。 BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。 提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
  論文  参考訳（メタデータ） (2022-11-23T10:53:37Z)
• Deblurred Neural Radiance Field with Physical Scene Priors [6.128295038453101]
  本稿では,2つの物理的先行条件に制約されたぼやけた画像に対するDP-NeRFフレームワークを提案する。 本研究では,2種類のぼかしを有する合成シーンと実シーンに対して,カメラモーションのぼかしとデフォーカスのぼかしの2種類の実験結果を示す。
  論文  参考訳（メタデータ） (2022-11-22T06:40:53Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
  理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。 本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
  論文  参考訳（メタデータ） (2022-08-24T04:53:32Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
  連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。 提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。