論文の概要: LSE-NeRF: Learning Sensor Modeling Errors for Deblured Neural Radiance Fields with RGB-Event Stereo

• arxiv url: http://arxiv.org/abs/2409.06104v1
• Date: Mon, 9 Sep 2024 23:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 19:30:39.002813
• Title: LSE-NeRF: Learning Sensor Modeling Errors for Deblured Neural Radiance Fields with RGB-Event Stereo
• Title（参考訳）: LSE-NeRF:RGBイベントステレオを用いた分解型ニューラルラディアンスフィールドの学習センサモデリング誤差
• Authors: Wei Zhi Tang, Daniel Rebain, Kostantinos G. Derpanis, Kwang Moo Yi,
• Abstract要約: 本稿では,高速なカメラ動作であっても,クリアなニューラルレージアンス場(NeRF)を再構築する手法を提案する。 両眼で撮影した(青)RGB画像とイベントカメラデータの両方を活用している。
• 参考スコア（独自算出の注目度）: 14.792361875841095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method for reconstructing a clear Neural Radiance Field (NeRF) even with fast camera motions. To address blur artifacts, we leverage both (blurry) RGB images and event camera data captured in a binocular configuration. Importantly, when reconstructing our clear NeRF, we consider the camera modeling imperfections that arise from the simple pinhole camera model as learned embeddings for each camera measurement, and further learn a mapper that connects event camera measurements with RGB data. As no previous dataset exists for our binocular setting, we introduce an event camera dataset with captures from a 3D-printed stereo configuration between RGB and event cameras. Empirically, we evaluate our introduced dataset and EVIMOv2 and show that our method leads to improved reconstructions. Our code and dataset are available at https://github.com/ubc-vision/LSENeRF.
• Abstract（参考訳）: 本稿では,高速なカメラモーションを伴ってもクリアなニューラル放射場(NeRF)を再構築する手法を提案する。 ぼやけたアーティファクトに対処するために、両眼で捉えたRGB画像とイベントカメラデータの両方を利用する。 重要なことは、クリアなNeRFを再構築する際には、単純なピンホールカメラモデルから生じる欠陥をカメラ計測毎に学習した埋め込みとして考慮し、さらに、イベントカメラ計測とRGBデータとを結びつけるマッパーを学ぶことである。 両眼設定に以前のデータセットがないため、RGBとイベントカメラの間の3Dプリントステレオ構成からキャプチャーされたイベントカメラデータセットを導入します。 実験により,導入したデータセットとEVIMOv2を評価し,再現性の向上につながることを示す。 私たちのコードとデータセットはhttps://github.com/ubc-vision/LSENeRF.orgで公開されています。

関連論文リスト

• SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
  従来のRGBカメラは、動きがぼやけやすい。 イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。 我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
  論文  参考訳（メタデータ） (2024-04-10T03:31:32Z)
• Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
  EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。 EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
  論文  参考訳（メタデータ） (2024-03-12T06:04:50Z)
• TUMTraf Event: Calibration and Fusion Resulting in a Dataset for Roadside Event-Based and RGB Cameras [14.57694345706197]
  インテリジェントトランスポーテーションシステム(ITS)のイベントベースカメラ 非常に高い時間分解能とダイナミックレンジを提供し、動きのぼやけをなくし、夜間の検知性能を向上させることができる。 しかし、イベントベースの画像は従来のRGBカメラの画像と比べて色やテクスチャが欠けている。
  論文  参考訳（メタデータ） (2024-01-16T16:25:37Z)
• IL-NeRF: Incremental Learning for Neural Radiance Fields with Camera Pose Alignment [12.580584725107173]
  インクリメンタルなNeRFトレーニングのための新しいフレームワークであるIL-NeRFを提案する。 IL-NeRFは、インクリメンタルなNeRFトレーニングを処理し、ベースラインを最大54.04%のレンダリング品質で上回ります。
  論文  参考訳（メタデータ） (2023-12-10T04:12:27Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile Mapping [4.619828919345114]
  我々は、HoloLensから取得したデータを用いて、ニューラルネットワークのシーン表現としてNeRF(Neural Radiance Field)をリアルタイムで訓練する。 データストリームが終了すると、トレーニングが停止し、3D再構成が開始され、シーンの点雲が抽出される。 この3次元再構成法は,複数桁のNeRFを用いた格子点サンプリングよりも優れる。
  論文  参考訳（メタデータ） (2023-04-27T16:07:21Z)
• Event Fusion Photometric Stereo Network [3.0778023655689144]
  本稿では,RGBとイベントカメラを用いた環境光環境における物体の表面の正常さを推定する新しい手法を提案する。 これは、連続した光源や周囲の光環境における測光ステレオにイベントカメラを使用した最初の研究である。
  論文  参考訳（メタデータ） (2023-03-01T08:13:26Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Multi-Modal Fusion for Sensorimotor Coordination in Steering Angle Prediction [8.707695512525717]
  操舵角度予測のための感覚運動の協調を終末的に学習するために模倣学習を用いる。 本研究は、フレームベースのRGBとイベントデータの融合による、エンドツーエンドの横方向制御の学習について検討する。 DRFuserは、エンド・ツー・エンドの横方向制御を学習するための新しい畳み込みエンコーダ・デコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2022-02-11T08:22:36Z)
• Self-Calibrating Neural Radiance Fields [68.64327335620708]
  キャリブレーション対象のないシーンの幾何学と正確なカメラパラメータを共同で学習する。 我々のカメラモデルは、ピンホールモデル、第4次ラジアル歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。
  論文  参考訳（メタデータ） (2021-08-31T13:34:28Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。