論文の概要: BeSplat: Gaussian Splatting from a Single Blurry Image and Event Stream

• arxiv url: http://arxiv.org/abs/2412.19370v2
• Date: Sun, 05 Jan 2025 21:19:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:03:05.660481
• Title: BeSplat: Gaussian Splatting from a Single Blurry Image and Event Stream
• Title（参考訳）: BeSplat: 単一のぼんやりしたイメージとイベントストリームからガウス的なスプレイティング
• Authors: Gopi Raju Matta, Reddypalli Trisha, Kaushik Mitra,
• Abstract要約: 3D Gaussian Splatting (3DGS)は、長いトレーニング時間や遅いレンダリング速度といった重要な課題に効果的に対処している。 本研究では,1つの動きブル画像とそれに対応するイベントストリームから,シャープな放射場(ガウススプラッツ)の回復を実証する。
• 参考スコア（独自算出の注目度）: 13.649334929746413
• License:
• Abstract: Novel view synthesis has been greatly enhanced by the development of radiance field methods. The introduction of 3D Gaussian Splatting (3DGS) has effectively addressed key challenges, such as long training times and slow rendering speeds, typically associated with Neural Radiance Fields (NeRF), while maintaining high-quality reconstructions. In this work (BeSplat), we demonstrate the recovery of sharp radiance field (Gaussian splats) from a single motion-blurred image and its corresponding event stream. Our method jointly learns the scene representation via Gaussian Splatting and recovers the camera motion through Bezier SE(3) formulation effectively, minimizing discrepancies between synthesized and real-world measurements of both blurry image and corresponding event stream. We evaluate our approach on both synthetic and real datasets, showcasing its ability to render view-consistent, sharp images from the learned radiance field and the estimated camera trajectory. To the best of our knowledge, ours is the first work to address this highly challenging ill-posed problem in a Gaussian Splatting framework with the effective incorporation of temporal information captured using the event stream.
• Abstract（参考訳）: 新規なビュー合成は、放射場法の開発によって大幅に向上した。 3D Gaussian Splatting (3DGS)の導入は、高品質な再構築を維持しながら、NeRF(Neural Radiance Fields)に関連する長いトレーニング時間や遅いレンダリング速度といった重要な課題に効果的に対処している。 本研究(BeSplat)では、1つの動きブル画像とそれに対応するイベントストリームからシャープな放射場(ガウススプラッツ)の回復を実証する。 本手法は,ガウススティングによるシーン表現を共同で学習し,ベジエSE(3)の定式化によるカメラの動きを効果的に再現し,ぼやけた画像とそれに対応するイベントストリームの両方の実世界と実世界との差を最小化する。 我々は,合成データと実データの両方に対するアプローチを評価し,学習された放射場と推定されたカメラ軌跡から,ビュー一貫性のあるシャープな画像を描画する能力を示した。 我々の知る限りでは、イベントストリームを使用してキャプチャされた時間情報の効果的な取り込みを伴うガウススティングフレームワークにおいて、この非常に困難な不適切な問題に対処する最初の取り組みである。

関連論文リスト

• DehazeGS: Seeing Through Fog with 3D Gaussian Splatting [17.119969983512533]
  DehazeGSは,霧のない背景をメディアから分解・レンダリングできる手法である。 合成と実世界の霧のデータセットの実験は、DehazeGSが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-01-07T09:47:46Z)
• MBA-SLAM: Motion Blur Aware Dense Visual SLAM with Radiance Fields Representation [15.752529196306648]
  本研究では、重度動きブルレッド入力を処理するための高密度視覚SLAMパイプライン(MBA-SLAM)を提案する。 提案手法では,効率的な運動ぼかし対応トラッカーをニューラルネットワークとガウススプラッティングベースのマッパーに統合する。 MBA-SLAMは、カメラのローカライゼーションとマップ再構成の両方において、従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-13T01:38:06Z)
• Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
  Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。 提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
  論文  参考訳（メタデータ） (2024-07-17T04:02:54Z)
• EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [36.91327728871551]
  3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。 本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
  論文  参考訳（メタデータ） (2024-05-29T04:59:27Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
  BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。 提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-03-18T14:43:04Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images [75.87721926918874]
  PDRF(Progressive Deblurring Radiance Field)について報告する。 PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。 PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T03:42:29Z)
• Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
  本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。 我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。 ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
  論文  参考訳（メタデータ） (2022-05-28T04:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。