論文の概要: Domain-adaptive Video Deblurring via Test-time Blurring
- arxiv url: http://arxiv.org/abs/2407.09059v1
- Date: Fri, 12 Jul 2024 07:28:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 00:17:04.558018
- Title: Domain-adaptive Video Deblurring via Test-time Blurring
- Title（参考訳）: テスト時間ブラリングによるドメイン適応型ビデオの劣化
- Authors: Jin-Ting He, Fu-Jen Tsai, Jia-Hao Wu, Yan-Tsung Peng, Chung-Chi Tsai, Chia-Wen Lin, Yen-Yu Lin,
- Abstract要約: 未確認領域におけるデブロアリングモデルに対するテスト時間微調整を実現するために, ぼかしモデルに基づくドメイン適応方式を提案する。
そこで本手法では, 対象領域の劣化モデルを校正するために, ドメイン適応型トレーニングペアを生成することができる。
提案手法は,最先端の映像復号化手法を大幅に改善し,実世界の映像復号化データセットに対して最大7.54dBの性能向上を実現する。
- 参考スコア（独自算出の注目度）: 43.40607572991409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic scene video deblurring aims to remove undesirable blurry artifacts captured during the exposure process. Although previous video deblurring methods have achieved impressive results, they suffer from significant performance drops due to the domain gap between training and testing videos, especially for those captured in real-world scenarios. To address this issue, we propose a domain adaptation scheme based on a blurring model to achieve test-time fine-tuning for deblurring models in unseen domains. Since blurred and sharp pairs are unavailable for fine-tuning during inference, our scheme can generate domain-adaptive training pairs to calibrate a deblurring model for the target domain. First, a Relative Sharpness Detection Module is proposed to identify relatively sharp regions from the blurry input images and regard them as pseudo-sharp images. Next, we utilize a blurring model to produce blurred images based on the pseudo-sharp images extracted during testing. To synthesize blurred images in compliance with the target data distribution, we propose a Domain-adaptive Blur Condition Generation Module to create domain-specific blur conditions for the blurring model. Finally, the generated pseudo-sharp and blurred pairs are used to fine-tune a deblurring model for better performance. Extensive experimental results demonstrate that our approach can significantly improve state-of-the-art video deblurring methods, providing performance gains of up to 7.54dB on various real-world video deblurring datasets. The source code is available at https://github.com/Jin-Ting-He/DADeblur.
- Abstract（参考訳）: ダイナミックなシーンビデオのデブロアリングは、露光プロセス中にキャプチャーされた望ましくないぼやけたアーティファクトを取り除くことを目的としている。
従来のビデオデブロアリング手法は目覚ましい結果を得たが、トレーニングとテストビデオの領域差、特に実世界のシナリオで捉えた場合、大きなパフォーマンス低下に悩まされている。
そこで本研究では,未確認領域におけるデブロアリングモデルに対するテスト時間微調整を実現するために,ぼやけたモデルに基づくドメイン適応方式を提案する。
そこで本手法では, 対象領域の劣化モデルを校正するために, ドメイン適応型トレーニングペアを生成することができる。
まず、ぼやけた入力画像から比較的シャープな領域を識別し、擬似シャープ画像とみなすための相対シャープネス検出モジュールを提案する。
次に、テスト中に抽出した擬似シャープ画像に基づいて、ぼやけた画像を生成するために、ぼやけたモデルを用いる。
対象データ分布に応じてぼやけた画像を合成するために, ドメイン適応型ブラ条件生成モジュールを提案し, ぼやけたモデルに対して, ドメイン固有なぼやけた条件を作成する。
最後に、生成された擬似シャープとぼやけたペアを使用して、より優れた性能を得るためにデブロアリングモデルを微調整する。
大規模な実験結果から,本手法は最先端のビデオデブロアリング法を大幅に改善し,実世界のビデオデブロアリングデータセットに対して最大7.54dBの性能向上を達成できることが示された。
ソースコードはhttps://github.com/Jin-Ting-He/DADeblur.comで入手できる。
関連論文リスト
- DaBiT: Depth and Blur informed Transformer for Joint Refocusing and Super-Resolution [4.332534893042983]
多くの現実のシナリオでは、録画されたビデオは偶然の焦点がぼやけている。
本稿では、焦点ずれ(再焦点)とビデオ超解像(VSR)に最適化されたフレームワークを提案する。
我々は、既存のビデオ復元方法よりも1.9dB以上のPSNR性能で、最先端の結果を得る。
論文 参考訳（メタデータ） (2024-07-01T12:22:16Z) - Real-World Efficient Blind Motion Deblurring via Blur Pixel Discretization [45.20189929583484]
我々は,デブロアリング(回帰)タスクを,画素の離散化と離散連続変換タスクに分解する。
具体的には,ぼやけた画素を識別して画像残差誤差を生成し,連続的な形状に変換する。
論文 参考訳（メタデータ） (2024-04-18T13:22:56Z) - ID-Blau: Image Deblurring by Implicit Diffusion-based reBLurring AUgmentation [45.582704677784825]
Inlicit Diffusion-based reBLurring AUgmentation (ID-Blau) を提案する。
多様なぼやけた条件をサンプリングすることで、ID-Blauはトレーニングセットに見えない様々なぼやけた画像を生成することができる。
以上の結果から,ID-Blauはリアルなぼやけた画像を生成することができ,最先端のデブロアリングモデルの性能を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-12-18T07:47:43Z) - ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。
提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。
提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文 参考訳（メタデータ） (2023-07-15T04:48:35Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - Meta Transferring for Deblurring [43.86235102507237]
動的シーンのデブロリングに基底事実を用いることなくテスト時間適応を実現するためのreblur-deメタトランスファー方式を提案する。
我々は、ぼやけた入力ビデオを利用して、比較的シャープなパッチを偽の土台真実として見つけ、利用する。
我々のreblur-deメタラーニングスキームは、DVD、REDS、RealBlurベンチマークデータセットの最先端のデブロアリングモデルを改善することができる。
論文 参考訳（メタデータ） (2022-10-14T18:06:33Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - Single Image Non-uniform Blur Kernel Estimation via Adaptive Basis
Decomposition [1.854931308524932]
本研究では,高密度な非一様運動ボケ推定のための一般非パラメトリックモデルを提案する。
提案手法は,既存の不均一な動きのぼかし推定の限界を克服することを示す。
論文 参考訳（メタデータ） (2021-02-01T18:02:31Z) - Learning Spatial and Spatio-Temporal Pixel Aggregations for Image and
Video Denoising [104.59305271099967]
ピクセル集計ネットワークを提示し、画像デノイジングのためのピクセルサンプリングと平均戦略を学びます。
時間空間にまたがるサンプル画素をビデオデノナイズするための画素集約ネットワークを開発した。
本手法は,動的シーンにおける大きな動きに起因する誤認問題を解決することができる。
論文 参考訳（メタデータ） (2021-01-26T13:00:46Z) - Deblurring by Realistic Blurring [110.54173799114785]
本稿では,BGAN(Learning-to-blurr GAN)とDBGAN(Learning-to-DeBlur GAN)の2つのモデルを組み合わせた新しい手法を提案する。
第1のモデルであるBGANは、未ペアのシャープでぼやけた画像セットでシャープな画像をぼやかす方法を学習し、第2のモデルであるDBGANをガイドして、そのような画像を正しくデブロアする方法を学ぶ。
さらなる貢献として,多様なぼやけた画像を含むRWBIデータセットについても紹介する。
論文 参考訳（メタデータ） (2020-04-04T05:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。