論文の概要: DaBiT: Depth and Blur informed Transformer for Joint Refocusing and Super-Resolution
- arxiv url: http://arxiv.org/abs/2407.01230v2
- Date: Wed, 10 Jul 2024 09:19:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 20:50:12.983820
- Title: DaBiT: Depth and Blur informed Transformer for Joint Refocusing and Super-Resolution
- Title（参考訳）: DaBiT: 補聴器と超解像器の深さ・ブラー情報変換器
- Authors: Crispian Morris, Nantheera Anantrasirichai, Fan Zhang, David Bull,
- Abstract要約: 多くの現実のシナリオでは、録画されたビデオは偶然の焦点がぼやけている。
本稿では、焦点ずれ(再焦点)とビデオ超解像(VSR)に最適化されたフレームワークを提案する。
我々は、既存のビデオ復元方法よりも1.9dB以上のPSNR性能で、最先端の結果を得る。
- 参考スコア（独自算出の注目度）: 4.332534893042983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many real-world scenarios, recorded videos suffer from accidental focus blur, and while video deblurring methods exist, most specifically target motion blur. This paper introduces a framework optimised for the joint task of focal deblurring (refocusing) and video super-resolution (VSR). The proposed method employs novel map guided transformers, in addition to image propagation, to effectively leverage the continuous spatial variance of focal blur and restore the footage. We also introduce a flow re-focusing module to efficiently align relevant features between the blurry and sharp domains. Additionally, we propose a novel technique for generating synthetic focal blur data, broadening the model's learning capabilities to include a wider array of content. We have made a new benchmark dataset, DAVIS-Blur, available. This dataset, a modified extension of the popular DAVIS video segmentation set, provides realistic out-of-focus blur degradations as well as the corresponding blur maps. Comprehensive experiments on DAVIS-Blur demonstrate the superiority of our approach. We achieve state-of-the-art results with an average PSNR performance over 1.9dB greater than comparable existing video restoration methods. Our source code will be made available at https://github.com/crispianm/DaBiT
- Abstract（参考訳）: 多くの現実のシナリオでは、録画されたビデオは偶然の焦点のぼやけに悩まされ、ビデオのぼやけた手法は存在するが、特にターゲットの動きがぼやけている。
本稿では,焦点ずれ(再焦点)とビデオ超解像(VSR)のジョイントタスクに最適化されたフレームワークを提案する。
提案手法では, 画像伝播に加えて, 局所的ぼかしの連続的な空間分散を効果的に活用し, 映像の復元を行う。
また、ぼやけた領域と鋭い領域の関連性を効率的に調整するフロー再焦点モジュールも導入する。
さらに,本研究では,学習能力を拡張し,より広い範囲のコンテンツを含む合成焦点ぼかしデータを生成する新しい手法を提案する。
DAVIS-Blurという新しいベンチマークデータセットを公開しました。
このデータセットは、人気のDAVISビデオセグメンテーションセットの修正版であり、実際のアウト・オブ・フォーカスのぼかしと対応するぼかしマップを提供する。
DAVIS-Blurに関する総合的な実験は、我々のアプローチの優位性を実証している。
我々は、既存のビデオ復元方法よりも1.9dB以上のPSNR性能で、最先端の結果を得る。
ソースコードはhttps://github.com/crispianm/DaBiTで公開されます。
関連論文リスト
- Domain-adaptive Video Deblurring via Test-time Blurring [43.40607572991409]
未確認領域におけるデブロアリングモデルに対するテスト時間微調整を実現するために, ぼかしモデルに基づくドメイン適応方式を提案する。
そこで本手法では, 対象領域の劣化モデルを校正するために, ドメイン適応型トレーニングペアを生成することができる。
提案手法は,最先端の映像復号化手法を大幅に改善し,実世界の映像復号化データセットに対して最大7.54dBの性能向上を実現する。
論文 参考訳（メタデータ） (2024-07-12T07:28:01Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - Blur Interpolation Transformer for Real-World Motion from Blur [52.10523711510876]
本稿では, ボケの時間的相関を解き明かすために, 符号化されたブラー変換器(BiT)を提案する。
マルチスケール残留スウィン変圧器ブロックに基づいて、両端の時間的監督と時間対称なアンサンブル戦略を導入する。
さらに,1対1のぼやけたビデオペアの最初の実世界のデータセットを収集するハイブリッドカメラシステムを設計する。
論文 参考訳（メタデータ） (2022-11-21T13:10:10Z) - Efficient Video Deblurring Guided by Motion Magnitude [37.25713728458234]
本稿では,MMP(Motion magnitude prior)を高効率なディープビデオデブロアリングのためのガイダンスとして利用する新しいフレームワークを提案する。
MMPは、空間的および時間的ボケレベル情報の両方で構成されており、ビデオデブロアリングのための効率的なリカレントニューラルネットワーク(RNN)にさらに統合することができる。
論文 参考訳（メタデータ） (2022-07-27T08:57:48Z) - Deep Recurrent Neural Network with Multi-scale Bi-directional
Propagation for Video Deblurring [36.94523101375519]
本稿では,RNN-MBP(Multiscale Bi-directional Propagation)を用いたディープリカレントニューラルネットワークを提案する。
提案したアルゴリズムと既存の最先端の手法を現実世界のぼやけたシーンでよりよく評価するために、リアルワールドのぼやけたビデオデータセットも作成する。
提案アルゴリズムは3つの典型的なベンチマークにおける最先端の手法に対して良好に動作する。
論文 参考訳（メタデータ） (2021-12-09T11:02:56Z) - MC-Blur: A Comprehensive Benchmark for Image Deblurring [127.6301230023318]
ほとんどの実世界の画像では、ブラーは動きやデフォーカスなど様々な要因によって引き起こされる。
我々は,MC-Blurと呼ばれる大規模マルチライク画像デブロアリングデータセットを新たに構築する。
MC-Blurデータセットに基づいて,異なるシナリオにおけるSOTA法の比較を行う。
論文 参考訳（メタデータ） (2021-12-01T02:10:42Z) - ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。
特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。
提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
論文 参考訳（メタデータ） (2021-03-07T04:33:13Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z) - Defocus Blur Detection via Depth Distillation [64.78779830554731]
初めてDBDに深度情報を導入します。
より詳しくは, 地底の真理と, 十分に訓練された深度推定ネットワークから抽出した深度から, デフォーカスのぼかしを学習する。
我々の手法は、2つの一般的なデータセット上で11の最先端の手法より優れています。
論文 参考訳（メタデータ） (2020-07-16T04:58:09Z) - Prior-enlightened and Motion-robust Video Deblurring [29.158836861982742]
PriOr-enlightened and MOTION-robust deblurring model (PROMOTION) は難解なぼかしに適したモデルである。
我々は、異種先行情報を効率的に符号化するために、3Dグループ畳み込みを用いる。
また、一様でないぼやけた時間領域をよりよく扱うために、ぼやけた分布を表す事前設計を行う。
論文 参考訳（メタデータ） (2020-03-25T04:16:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。