論文の概要: BeNeRF: Neural Radiance Fields from a Single Blurry Image and Event Stream

• arxiv url: http://arxiv.org/abs/2407.02174v1
• Date: Tue, 2 Jul 2024 11:28:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 15:45:15.787913
• Title: BeNeRF: Neural Radiance Fields from a Single Blurry Image and Event Stream
• Title（参考訳）: BeNeRF: 単一Blurry画像とイベントストリームからのニューラルラジアンス場
• Authors: Wenpu Li, Pian Wan, Peng Wang, Jinhang Li, Yi Zhou, Peidong Liu,
• Abstract要約: 一つのぼやけた画像とそれに対応するイベントストリームからニューラル放射場(NeRF)を復元する可能性を示す。 本手法は暗黙的なニューラルシーンの表現を共同で学習し,カメラの動きを復元する。
• 参考スコア（独自算出の注目度）: 9.996304409667255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural implicit representation of visual scenes has attracted a lot of attention in recent research of computer vision and graphics. Most prior methods focus on how to reconstruct 3D scene representation from a set of images. In this work, we demonstrate the possibility to recover the neural radiance fields (NeRF) from a single blurry image and its corresponding event stream. We model the camera motion with a cubic B-Spline in SE(3) space. Both the blurry image and the brightness change within a time interval, can then be synthesized from the 3D scene representation given the 6-DoF poses interpolated from the cubic B-Spline. Our method can jointly learn both the implicit neural scene representation and recover the camera motion by minimizing the differences between the synthesized data and the real measurements without pre-computed camera poses from COLMAP. We evaluate the proposed method with both synthetic and real datasets. The experimental results demonstrate that we are able to render view-consistent latent sharp images from the learned NeRF and bring a blurry image alive in high quality. Code and data are available at https://github.com/WU-CVGL/BeNeRF.
• Abstract（参考訳）: 視覚シーンのニューラルな暗黙の表現は、コンピュータビジョンとグラフィックスの最近の研究で多くの注目を集めている。 従来の手法では、画像の集合から3Dシーンの表現を再構築する方法に焦点が当てられていた。 本研究では,1つのぼやけた画像とそれに対応するイベントストリームからニューラル放射場(NeRF)を復元する可能性を示す。 カメラの動きをSE(3)空間の立方体B-Splineでモデル化する。 そして、立方体B−スプラインから補間された6−DoFポーズが与えられたとき、3Dシーン表現から、ぼやけた画像と、時間間隔内での明るさ変化の両方を合成することができる。 提案手法は,COLMAPから予め計算したカメラポーズを使わずに,合成データと実測値の違いを最小化することにより,暗黙的なニューラルシーン表現とカメラ動作の回復を両立させることができる。 提案手法を合成データと実データの両方を用いて評価する。 実験結果から,学習したNeRF画像から高画質のぼやけた画像が得られることがわかった。 コードとデータはhttps://github.com/WU-CVGL/BeNeRF.comで公開されている。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転における3D環境を理解するための自己教師型学習フレームワークである。 スパースでシングルフレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する。 RGB、奥行き、特徴画像を再構成するために、異なるレンダリングで自己教師される。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• ViewFormer: NeRF-free Neural Rendering from Few Images Using Transformers [34.4824364161812]
  新たなビュー合成は、シーンやオブジェクトをスパースにカバーする少数のコンテキストビューしか与えられない、という問題です。 ゴールはシーンにおける新しい視点を予測することであり、これは学習の事前を必要とする。 ニューラルネットワークの単一パスにおいて,複数のコンテキストビューとクエリのポーズを新しい画像にマッピングする2Dのみの手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T21:08:23Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)
• Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
  本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。 私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
  論文  参考訳（メタデータ） (2020-12-17T17:54:32Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。