論文の概要: SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields

• arxiv url: http://arxiv.org/abs/2403.07547v1
• Date: Tue, 12 Mar 2024 11:32:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:54:53.527485
• Title: SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields
• Title（参考訳）: SMURF:運動劣化放射場のための連続ダイナミクス
• Authors: Jungho Lee, Dogyoon Lee, Minhyeok Lee, Donghyung Kim, Sangyoun Lee
• Abstract要約: 本稿では,ニューラル常微分方程式(Neural-ODE)を用いて連続カメラの動きをモデル化する新しい手法である,逐次的動き理解放射場(SMURF)を提案する。 我々のモデルは、ベンチマークデータセットに対して厳密に評価され、定量的かつ定性的に最先端のパフォーマンスを実証する。
• 参考スコア（独自算出の注目度）: 14.681688453270523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance fields (NeRF) has attracted considerable attention for their exceptional ability in synthesizing novel views with high fidelity. However, the presence of motion blur, resulting from slight camera movements during extended shutter exposures, poses a significant challenge, potentially compromising the quality of the reconstructed 3D scenes. While recent studies have addressed this issue, they do not consider the continuous dynamics of camera movements during image acquisition, leading to inaccurate scene reconstruction. Additionally, these methods are plagued by slow training and rendering speed. To effectively handle these issues, we propose sequential motion understanding radiance fields (SMURF), a novel approach that employs neural ordinary differential equation (Neural-ODE) to model continuous camera motion and leverages the explicit volumetric representation method for faster training and robustness to motion-blurred input images. The core idea of the SMURF is continuous motion blurring kernel (CMBK), a unique module designed to model a continuous camera movements for processing blurry inputs. Our model, rigorously evaluated against benchmark datasets, demonstrates state-of-the-art performance both quantitatively and qualitatively.
• Abstract（参考訳）: ニューラル・ラディアンス・フィールド(NeRF)は、高い忠実度を持つ新規なビューを合成する優れた能力で注目されている。 しかし、拡張シャッター露光時のカメラの動きから生じる動きのぼけの存在は、再建された3Dシーンの品質を損なう可能性があり、大きな課題となる。 近年の研究ではこの問題に対処しているが、画像取得時のカメラの動きの連続的ダイナミクスを考慮せず、不正確なシーン再構築につながっている。 さらに、これらの手法は遅いトレーニングとレンダリング速度に悩まされている。 そこで本研究では,神経常微分方程式(neural ordinary differential equation,neural-ode)を用いて連続カメラの運動をモデル化する新しい手法であるシーケンシャルモーション理解放射場(smurf)を提案する。 SMURFの中核となるアイデアは、連続的なカメラの動きをモデル化してぼやけた入力を処理するために設計されたユニークなモジュールである連続運動ぼやけカーネル(CMBK)である。 ベンチマークデータセットに対して厳密に評価された本モデルは,定量的かつ質的に最先端のパフォーマンスを示す。

関連論文リスト

• CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion Blur Images [12.603775893040972]
  画像のぼやけた画像からリアルタイムレンダリング速度で正確な3Dシーンを再構成するために, 連続的な剛性運動対応ガウススプラッティング(CRiM-GS)を提案する。 我々は、剛体変換を利用して、物体の形状と大きさを保存し、適切な正則化でカメラの動きをモデル化する。 さらに,textitSE(3)フィールドに連続的な変形可能な3次元変換を導入し,剛体変換を実世界の問題に適用する。
  論文  参考訳（メタデータ） (2024-07-04T13:37:04Z)
• Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment [23.15130387716121]
  本稿では,学習可能なポーズとNeRFパラメータを協調的に最適化するために,Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF)を提案する。 EBAD-NeRFは露光時間中に正確なカメラ軌跡を得ることができ、従来よりもシャープな3D表現を学習することができる。
  論文  参考訳（メタデータ） (2024-06-20T14:33:51Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
  動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。 入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
  論文  参考訳（メタデータ） (2024-03-15T08:48:37Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• Robust Dynamic Radiance Fields [79.43526586134163]
  動的放射場再構成法は動的シーンの時間変化構造と外観をモデル化することを目的としている。 しかし、既存の手法では、正確なカメラポーズをStructure from Motion (SfM)アルゴリズムによって確実に推定できると仮定している。 カメラパラメータとともに静的および動的放射場を共同で推定することにより、このロバスト性問題に対処する。
  論文  参考訳（メタデータ） (2023-01-05T18:59:51Z)
• T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
  連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。 提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:12:59Z)
• Exposure Trajectory Recovery from Motion Blur [90.75092808213371]
  ダイナミックシーンにおける動きのぼやけは重要な研究テーマである。 本稿では、ぼやけた画像に含まれる動き情報を表す露光軌跡を定義する。 静止シャープ画像の画素方向の変位をモデル化するための新しい動きオフセット推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-06T05:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。