論文の概要: Dynamic Gaussian Splatting from Defocused and Motion-blurred Monocular Videos
- arxiv url: http://arxiv.org/abs/2510.10691v3
- Date: Fri, 31 Oct 2025 15:40:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 15:46:17.653881
- Title: Dynamic Gaussian Splatting from Defocused and Motion-blurred Monocular Videos
- Title(参考訳): 焦点がずれたモノクロ映像からの動的ガウススプレイティング
- Authors: Xuankai Zhang, Junjin Xiao, Qing Zhang,
- Abstract要約: 本稿では,高画質な動的ガウス平滑化を実現するための一貫した枠組みを提案する。
我々は、ぼかし関連シーンとカメラ情報を利用するぼかし予測ネットワークを使用し、ぼかし認識の空間性制約を受ける。
提案手法は,非焦点映像とモーションレッドモノクロ映像から光リアルな新奇なビュー合成を生成するための最先端手法よりも優れていた。
- 参考スコア(独自算出の注目度): 9.965683509488203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a unified framework that allows high-quality dynamic Gaussian Splatting from both defocused and motion-blurred monocular videos. Due to the significant difference between the formation processes of defocus blur and motion blur, existing methods are tailored for either one of them, lacking the ability to simultaneously deal with both of them. Although the two can be jointly modeled as blur kernel-based convolution, the inherent difficulty in estimating accurate blur kernels greatly limits the progress in this direction. In this work, we go a step further towards this direction. Particularly, we propose to estimate per-pixel reliable blur kernels using a blur prediction network that exploits blur-related scene and camera information and is subject to a blur-aware sparsity constraint. Besides, we introduce a dynamic Gaussian densification strategy to mitigate the lack of Gaussians for incomplete regions, and boost the performance of novel view synthesis by incorporating unseen view information to constrain scene optimization. Extensive experiments show that our method outperforms the state-of-the-art methods in generating photorealistic novel view synthesis from defocused and motion-blurred monocular videos. Our code is available at https://github.com/hhhddddddd/dydeblur.
- Abstract(参考訳): 本稿では,高画質な動的ガウス平滑化を実現するための一貫した枠組みを提案する。
デフォーカスのぼかしと動きのぼかしの形成過程に有意な違いがあるため、既存の手法はいずれの方法にも適しており、両手法を同時に扱う能力に欠ける。
これら2つは、ぼやけたカーネルベースの畳み込みとして共同でモデル化できるが、正確なぼやけたカーネルを推定する固有の困難さは、この方向の進行を著しく制限する。
この作業では、この方向に向かって一歩前進します。
特に、ぼかし関連シーンやカメラ情報を利用したぼかし予測ネットワークを用いて、画素ごとの信頼度の高いぼかしカーネルを推定し、ぼかしに注意を要する。
さらに,不完全領域におけるガウスの欠如を緩和する動的ガウス密度化戦略を導入し,シーン最適化に不明瞭なビュー情報を組み込むことで,新しいビュー合成の性能を向上させる。
広汎な実験により,本手法は焦点のずれや動きを呈するモノクロビデオから光リアルな新奇なビュー合成を生成する上で,最先端の手法よりも優れていた。
私たちのコードはhttps://github.com/hhhddddddd/dydeblur.comから入手可能です。
関連論文リスト
- Breaking the Vicious Cycle: Coherent 3D Gaussian Splatting from Sparse and Motion-Blurred Views [40.70901994944635]
スパース画像とぼやけた画像から高忠実度3D再構成を行うフレームワークであるCoherentGSを紹介する。
我々の重要な洞察は、これらの複合劣化に二元的戦略を用いて対処することである。
CoherentGSは既存のメソッドを著しく上回り、この挑戦的なタスクのために新しい最先端のタスクを設定している。
論文 参考訳(メタデータ) (2025-12-11T07:36:35Z) - Blur2seq: Blind Deblurring and Camera Trajectory Estimation from a Single Camera Motion-blurred Image [2.842028685390758]
カメラの揺らぎによる動きのぼやけは、特に大きな動きや回転運動の下では、画像復元において大きな課題である。
本稿では,1つのぼやけた画像から潜時鋭い画像と下層のカメラ運動軌跡を共同で推定する深層学習フレームワークを提案する。
本手法は,合成データと実データの両方で最先端の性能を実現する。
論文 参考訳(メタデータ) (2025-10-23T13:26:07Z) - Fine-grained Defocus Blur Control for Generative Image Models [66.30016220484394]
現在のテキストと画像の拡散モデルは、多様な高品質な画像を生成するのに優れている。
本稿では,カメラメタデータを活用した新しいテキスト・画像拡散フレームワークを提案する。
我々のモデルは、描写されたシーンを変更することなく、より優れたきめ細かい制御を可能にする。
論文 参考訳(メタデータ) (2025-10-07T17:59:15Z) - BokehDiff: Neural Lens Blur with One-Step Diffusion [53.11429878683807]
ボケフディフ(BokehDiff)は、物理的に正確で視覚的に魅力的な結果が得られるレンズボウ描画法である。
提案手法では, 画像形成プロセスと整合する自己認識モジュールを物理に着想を得た。
付加雑音を導入することなく1ステップの推論方式に拡散モデルを適応させ,高品質で忠実な結果を得る。
論文 参考訳(メタデータ) (2025-07-24T03:23:19Z) - Bokeh Diffusion: Defocus Blur Control in Text-to-Image Diffusion Models [26.79219274697864]
Bokeh Diffusionはシーン一貫性のあるbokehコントロールフレームワークである。
本稿では,合成ぼかし増量による画像の調整を行うハイブリッド・トレーニング・パイプラインを提案する。
われわれのアプローチは、フレキシブルでレンズライクなぼかし制御を可能にし、インバージョンによる実際の画像編集のような下流アプリケーションをサポートする。
論文 参考訳(メタデータ) (2025-03-11T13:49:12Z) - Oscillation Inversion: Understand the structure of Large Flow Model through the Lens of Inversion Method [60.88467353578118]
実世界のイメージを逆転させる固定点インスパイアされた反復的アプローチは収束を達成せず、異なるクラスタ間で振動することを示す。
本稿では,画像強調,ストロークベースのリカラー化,および視覚的プロンプト誘導画像編集を容易にする,シンプルで高速な分布転送手法を提案する。
論文 参考訳(メタデータ) (2024-11-17T17:45:37Z) - BAGS: Blur Agnostic Gaussian Splatting through Multi-Scale Kernel Modeling [32.493592776662005]
様々な画像のぼかしに対するガウススプティングに基づく手法の頑健さを解析する。
この問題に対処するためにBlur Agnostic Gaussian Splatting (BAGS)を提案する。
BAGSは、画像がぼやけているにもかかわらず、3D一貫性と高品質なシーンを再構築できる2Dモデリング能力を導入している。
論文 参考訳(メタデータ) (2024-03-07T22:21:08Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳(メタデータ) (2024-01-10T23:26:41Z) - Lightweight High-Speed Photography Built on Coded Exposure and Implicit Neural Representation of Videos [34.152901518593396]
高速シーンを高解像度で記録できるコンパクトカメラの需要は着実に増加している。
しかし、そのような能力を達成するには、しばしば高帯域幅の要求が伴うため、低容量のプラットフォームには不適当で重いシステムになる。
本稿では,ビデオの暗黙的表現と古典的符号化露光画像技術を組み合わせることで,これらの課題に対処する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T03:41:13Z) - Blind Motion Deblurring with Pixel-Wise Kernel Estimation via Kernel
Prediction Networks [0.0]
本研究では,高密度な非一様動きのぼかし推定に基づく学習に基づく動きのぼかし手法を提案する。
我々は、畳み込みに基づく、一様でない運動ぼかし劣化モデルに基づいて合成されたシャープ/ブルーのペアでネットワークを訓練する。
論文 参考訳(メタデータ) (2023-08-05T20:23:13Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳(メタデータ) (2023-03-27T09:43:42Z) - Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance [83.25826307000717]
単一の動き赤画像から詳細な動きを復元する際の課題について検討する。
既存の解法では、各領域の運動のあいまいさを考慮せずに単一の画像列を推定する。
本稿では、このような動きのあいまいさを明示的に説明し、複数の可算解をシャープな詳細で生成することができる。
論文 参考訳(メタデータ) (2022-07-20T18:05:53Z) - ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving
Cameras in the Wild [57.37891682117178]
本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。
不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。
MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
論文 参考訳(メタデータ) (2022-07-19T09:19:45Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。