論文の概要: Towards Real-World Video Deblurring by Exploring Blur Formation Process

• arxiv url: http://arxiv.org/abs/2208.13184v1
• Date: Sun, 28 Aug 2022 09:24:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-30 13:59:00.895895
• Title: Towards Real-World Video Deblurring by Exploring Blur Formation Process
• Title（参考訳）: ぼかし形成過程を探究した実世界デブラリングに向けて
• Authors: Mingdeng Cao, Zhihang Zhong, Yanbo Fan, Jiahao Wang, Yong Zhang, Jue Wang, Yujiu Yang, Yinqiang Zheng
• Abstract要約: 近年、深層学習に基づくアプローチは、ビデオデブロアリングタスクにおいて有望な成功を収めている。 既存の合成データセットで訓練されたモデルは、現実世界のぼやけたシナリオよりも一般化の問題に悩まされている。 本稿では, RAW-Blur と呼ばれる, ぼかし生成の手がかりを生かして, 現実的なぼかし合成パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 53.91239555063343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims at exploring how to synthesize close-to-real blurs that existing video deblurring models trained on them can generalize well to real-world blurry videos. In recent years, deep learning-based approaches have achieved promising success on video deblurring task. However, the models trained on existing synthetic datasets still suffer from generalization problems over real-world blurry scenarios with undesired artifacts. The factors accounting for the failure remain unknown. Therefore, we revisit the classical blur synthesis pipeline and figure out the possible reasons, including shooting parameters, blur formation space, and image signal processor~(ISP). To analyze the effects of these potential factors, we first collect an ultra-high frame-rate (940 FPS) RAW video dataset as the data basis to synthesize various kinds of blurs. Then we propose a novel realistic blur synthesis pipeline termed as RAW-Blur by leveraging blur formation cues. Through numerous experiments, we demonstrate that synthesizing blurs in the RAW space and adopting the same ISP as the real-world testing data can effectively eliminate the negative effects of synthetic data. Furthermore, the shooting parameters of the synthesized blurry video, e.g., exposure time and frame-rate play significant roles in improving the performance of deblurring models. Impressively, the models trained on the blurry data synthesized by the proposed RAW-Blur pipeline can obtain more than 5dB PSNR gain against those trained on the existing synthetic blur datasets. We believe the novel realistic synthesis pipeline and the corresponding RAW video dataset can help the community to easily construct customized blur datasets to improve real-world video deblurring performance largely, instead of laboriously collecting real data pairs.
• Abstract（参考訳）: 本研究の目的は,実世界のぼやけたビデオに対して,既存のビデオデブロアリングモデルがうまく一般化できるような,近距離からリアルタイムのぼやきを合成する方法を検討することである。 近年、深層学習に基づくアプローチは、ビデオデブロアリングタスクにおいて有望な成功を収めている。 しかし、既存の合成データセットで訓練されたモデルは、望ましくない人工物を持つ現実世界の曖昧なシナリオよりも一般化の問題に悩まされている。 失敗の原因は不明である。 そこで,従来のボケ合成パイプラインを再検討し,撮影パラメータ,ボケ形成空間,画像信号処理装置~(isp)など,考えられる理由を明らかにする。 これらの潜在的な要因の影響を分析するために,まず,超高フレームレート(940fps)生ビデオデータセットをデータベースとして収集し,様々なボケを合成する。 そこで本研究では,ぼかし形成の手がかりを活かし,生ブロルと呼ばれる新しいリアルなぼかし合成パイプラインを提案する。 多くの実験を通して、RAW空間におけるブラーの合成と実世界のテストデータと同じISPの採用により、合成データの負の効果を効果的に排除できることを示した。 さらに、合成したぼやけた映像の撮影パラメータ、例えば露光時間やフレームレートは、デブラリングモデルの性能向上に重要な役割を果たす。 驚くべきことに、提案するraw-blurパイプラインで合成されたぼかしデータに基づいてトレーニングされたモデルは、既存の合成ぼかしデータセットでトレーニングされたモデルに対して5dbpsnrゲインを得ることができる。 新しいリアルな合成パイプラインとそれに対応する生のビデオデータセットは、コミュニティがカスタマイズされたぼかしデータセットを簡単に構築し、実際のデータペアの収集に苦労することなく、実世界のビデオデブラリング性能を大幅に改善できると信じています。

関連論文リスト

• GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring [50.72230109855628]
  本稿では,新しい手法を用いて合成されたリアルなぼやけた画像のデータセットであるGS-Blurを提案する。 まず,3Dガウス・スプレイティング(3DGS)を用いて多視点画像から3Dシーンを再構成し,ランダムに生成された運動軌跡に沿ってカメラビューを移動させてぼやけた画像を描画する。 GS-Blurの再構築に様々なカメラトラジェクトリを採用することで、我々のデータセットは現実的で多様な種類のぼかしを含み、現実世界のぼかしをうまく一般化する大規模なデータセットを提供する。
  論文  参考訳（メタデータ） (2024-10-31T06:17:16Z)
• Expanding Synthetic Real-World Degradations for Blind Video Super Resolution [3.474523163017713]
  ビデオ超解像(VSR)技術はここ数年で大幅に改善され、合成データに顕著な性能を示した。 しかし、実世界のビデオデータにおけるそれらのパフォーマンスは、実世界の劣化と不整合のビデオフレームの複雑さに悩まされている。 本稿では,合成学習データセットにおける実世界の劣化について述べる。
  論文  参考訳（メタデータ） (2023-05-04T08:58:31Z)
• ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
  まず,合成から現実への新規な視点合成における合成データの影響について検討した。 本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。 提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
  論文  参考訳（メタデータ） (2023-03-20T12:06:14Z)
• Rethinking Blur Synthesis for Deep Real-World Image Deblurring [4.00114307523959]
  本稿では,撮影過程をシミュレートする,新しいリアルなボケ合成パイプラインを提案する。 機能領域における非局所的依存関係と局所的コンテキストを同時にキャプチャする効果的なデブロアリングモデルを開発する。 3つの実世界のデータセットに関する総合的な実験により、提案したデブロアリングモデルは最先端の手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-09-28T06:50:16Z)
• Leveraging Deepfakes to Close the Domain Gap between Real and Synthetic Images in Facial Capture Pipelines [8.366597450893456]
  我々は、パーソナライズされたアプリ内ビデオデータから3次元顔モデルを構築し、追跡するためのエンドツーエンドパイプラインを提案する。 本稿では,従来のコンピュータグラフィックスパイプラインにおける衝突アルゴリズムに典型的な階層的クラスタリングフレームワークに基づく自動データキュレーションと検索手法を提案する。 我々は、前述の技術を活用して、現実の地上真実データの必要性を回避するために、モーションキャプチャ回帰器のトレーニング方法を概説する。
  論文  参考訳（メタデータ） (2022-04-22T15:09:49Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Realistic Blur Synthesis for Learning Image Deblurring [20.560205377203957]
  より現実的なブラーを合成できる新しいブラー合成パイプラインを提案する。 また、実際のぼやけた画像とそれに対応するシャープな画像のシーケンスを含む新しいデータセットであるRSBlurを提案する。
  論文  参考訳（メタデータ） (2022-02-17T17:14:48Z)
• Deblurring by Realistic Blurring [110.54173799114785]
  本稿では,BGAN(Learning-to-blurr GAN)とDBGAN(Learning-to-DeBlur GAN)の2つのモデルを組み合わせた新しい手法を提案する。 第1のモデルであるBGANは、未ペアのシャープでぼやけた画像セットでシャープな画像をぼやかす方法を学習し、第2のモデルであるDBGANをガイドして、そのような画像を正しくデブロアする方法を学ぶ。 さらなる貢献として,多様なぼやけた画像を含むRWBIデータセットについても紹介する。
  論文  参考訳（メタデータ） (2020-04-04T05:25:15Z)
• CycleISP: Real Image Restoration via Improved Data Synthesis [166.17296369600774]
  本稿では,前向きと逆方向のカメラ画像パイプラインをモデル化するフレームワークを提案する。 リアルな合成データに基づいて新しい画像認識ネットワークをトレーニングすることにより、実際のカメラベンチマークデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-03-17T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。