論文の概要: SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields
- arxiv url: http://arxiv.org/abs/2403.07547v1
- Date: Tue, 12 Mar 2024 11:32:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 21:54:53.527485
- Title: SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields
- Title(参考訳): SMURF:運動劣化放射場のための連続ダイナミクス
- Authors: Jungho Lee, Dogyoon Lee, Minhyeok Lee, Donghyung Kim, Sangyoun Lee
- Abstract要約: 本稿では,ニューラル常微分方程式(Neural-ODE)を用いて連続カメラの動きをモデル化する新しい手法である,逐次的動き理解放射場(SMURF)を提案する。
我々のモデルは、ベンチマークデータセットに対して厳密に評価され、定量的かつ定性的に最先端のパフォーマンスを実証する。
- 参考スコア(独自算出の注目度): 14.681688453270523
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural radiance fields (NeRF) has attracted considerable attention for their
exceptional ability in synthesizing novel views with high fidelity. However,
the presence of motion blur, resulting from slight camera movements during
extended shutter exposures, poses a significant challenge, potentially
compromising the quality of the reconstructed 3D scenes. While recent studies
have addressed this issue, they do not consider the continuous dynamics of
camera movements during image acquisition, leading to inaccurate scene
reconstruction. Additionally, these methods are plagued by slow training and
rendering speed. To effectively handle these issues, we propose sequential
motion understanding radiance fields (SMURF), a novel approach that employs
neural ordinary differential equation (Neural-ODE) to model continuous camera
motion and leverages the explicit volumetric representation method for faster
training and robustness to motion-blurred input images. The core idea of the
SMURF is continuous motion blurring kernel (CMBK), a unique module designed to
model a continuous camera movements for processing blurry inputs. Our model,
rigorously evaluated against benchmark datasets, demonstrates state-of-the-art
performance both quantitatively and qualitatively.
- Abstract(参考訳): ニューラル・ラディアンス・フィールド(NeRF)は、高い忠実度を持つ新規なビューを合成する優れた能力で注目されている。
しかし、拡張シャッター露光時のカメラの動きから生じる動きのぼけの存在は、再建された3Dシーンの品質を損なう可能性があり、大きな課題となる。
近年の研究ではこの問題に対処しているが、画像取得時のカメラの動きの連続的ダイナミクスを考慮せず、不正確なシーン再構築につながっている。
さらに、これらの手法は遅いトレーニングとレンダリング速度に悩まされている。
そこで本研究では,神経常微分方程式(neural ordinary differential equation,neural-ode)を用いて連続カメラの運動をモデル化する新しい手法であるシーケンシャルモーション理解放射場(smurf)を提案する。
SMURFの中核となるアイデアは、連続的なカメラの動きをモデル化してぼやけた入力を処理するために設計されたユニークなモジュールである連続運動ぼやけカーネル(CMBK)である。
ベンチマークデータセットに対して厳密に評価された本モデルは,定量的かつ質的に最先端のパフォーマンスを示す。
関連論文リスト
- Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳(メタデータ) (2024-01-10T23:26:41Z) - DynaMoN: Motion-Aware Fast And Robust Camera Localization for Dynamic
NeRF [74.33528897005999]
本研究では,動的なシーンコンテンツを扱うために,モーションマスキングと同時位置決めマッピング(SLAM)を併用したDynaMoNを提案する。
我々の堅牢なSLAMベースのトラッキングモジュールは、動的NeRFのトレーニングプロセスを著しく加速し、同時に合成されたビューの品質を向上させる。
論文 参考訳(メタデータ) (2023-09-16T08:46:59Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳(メタデータ) (2023-09-15T17:52:08Z) - Annealed Score-Based Diffusion Model for MR Motion Artifact Reduction [37.41561581618164]
モーションアーティファクトリダクションは、MRイメージングにおいて重要な研究トピックの1つである。
我々はMRIの動作アーチファクト低減のためのアニール式スコアベース拡散モデルを提案する。
実験により, 提案手法は, シミュレーションおよび生体内動作アーティファクトの両方を効果的に低減することを確認した。
論文 参考訳(メタデータ) (2023-01-08T12:16:08Z) - Robust Dynamic Radiance Fields [79.43526586134163]
動的放射場再構成法は動的シーンの時間変化構造と外観をモデル化することを目的としている。
しかし、既存の手法では、正確なカメラポーズをStructure from Motion (SfM)アルゴリズムによって確実に推定できると仮定している。
カメラパラメータとともに静的および動的放射場を共同で推定することにより、このロバスト性問題に対処する。
論文 参考訳(メタデータ) (2023-01-05T18:59:51Z) - BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。
BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。
提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
論文 参考訳(メタデータ) (2022-11-23T10:53:37Z) - Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。
提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。
例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
論文 参考訳(メタデータ) (2022-10-09T11:46:45Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳(メタデータ) (2021-09-30T17:12:59Z) - Exposure Trajectory Recovery from Motion Blur [90.75092808213371]
ダイナミックシーンにおける動きのぼやけは重要な研究テーマである。
本稿では、ぼやけた画像に含まれる動き情報を表す露光軌跡を定義する。
静止シャープ画像の画素方向の変位をモデル化するための新しい動きオフセット推定フレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-06T05:23:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。