論文の概要: Deep Recurrent Neural Network with Multi-scale Bi-directional Propagation for Video Deblurring

• arxiv url: http://arxiv.org/abs/2112.05150v1
• Date: Thu, 9 Dec 2021 11:02:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-13 15:27:31.710040
• Title: Deep Recurrent Neural Network with Multi-scale Bi-directional Propagation for Video Deblurring
• Title（参考訳）: マルチスケール双方向伝搬を用いたビデオデブラリング用ディープリカレントニューラルネットワーク
• Authors: Chao Zhu, Hang Dong, Jinshan Pan, Boyang Liang, Yuhao Huang, Lean Fu, Fei Wang
• Abstract要約: 本稿では,RNN-MBP(Multiscale Bi-directional Propagation)を用いたディープリカレントニューラルネットワークを提案する。 提案したアルゴリズムと既存の最先端の手法を現実世界のぼやけたシーンでよりよく評価するために、リアルワールドのぼやけたビデオデータセットも作成する。 提案アルゴリズムは3つの典型的なベンチマークにおける最先端の手法に対して良好に動作する。
• 参考スコア（独自算出の注目度）: 36.94523101375519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of the state-of-the-art video deblurring methods stems mainly from implicit or explicit estimation of alignment among the adjacent frames for latent video restoration. However, due to the influence of the blur effect, estimating the alignment information from the blurry adjacent frames is not a trivial task. Inaccurate estimations will interfere the following frame restoration. Instead of estimating alignment information, we propose a simple and effective deep Recurrent Neural Network with Multi-scale Bi-directional Propagation (RNN-MBP) to effectively propagate and gather the information from unaligned neighboring frames for better video deblurring. Specifically, we build a Multi-scale Bi-directional Propagation~(MBP) module with two U-Net RNN cells which can directly exploit the inter-frame information from unaligned neighboring hidden states by integrating them in different scales. Moreover, to better evaluate the proposed algorithm and existing state-of-the-art methods on real-world blurry scenes, we also create a Real-World Blurry Video Dataset (RBVD) by a well-designed Digital Video Acquisition System (DVAS) and use it as the training and evaluation dataset. Extensive experimental results demonstrate that the proposed RBVD dataset effectively improves the performance of existing algorithms on real-world blurry videos, and the proposed algorithm performs favorably against the state-of-the-art methods on three typical benchmarks. The code is available at https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP.
• Abstract（参考訳）: 最新のビデオデブラリング手法の成功は、主に隣接フレーム間のアライメントの暗黙的または明示的な推定による潜伏ビデオ復元に起因している。 しかし, ブラー効果の影響により, 隣接するフレームからアライメント情報を推定することは簡単な作業ではない。 不正確な推定は次のフレームの復元を妨げる。 本稿では,アライメント情報を推定する代わりに,マルチスケール双方向伝搬(rnn-mbp)を用いた簡易かつ効果的なディープリカレントニューラルネットワークを提案する。 具体的には、2つのU-Net RNNセルを持つマルチスケール双方向プロパゲーション(MBP)モジュールを構築し、異なるスケールに統合することで、非整合した隠れ状態からのフレーム間情報を直接利用することができる。 さらに,提案したアルゴリズムと既存の最先端手法を現実世界のぼやけたシーンでよりよく評価するために,よく設計されたDVAS(Digital Video Acquisition System)による実世界Blurry Video Dataset(RBVD)を作成し,トレーニングおよび評価データセットとして利用する。 広汎な実験結果から,提案したRBVDデータセットは実世界のぼやけたビデオ上での既存のアルゴリズムの性能を効果的に向上することが示された。 コードはhttps://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBPで公開されている。

関連論文リスト

• DaBiT: Depth and Blur informed Transformer for Joint Refocusing and Super-Resolution [4.332534893042983]
  多くの現実のシナリオでは、録画されたビデオは偶然の焦点がぼやけている。 本稿では、焦点ずれ(再焦点)とビデオ超解像(VSR)に最適化されたフレームワークを提案する。 我々は、既存のビデオ復元方法よりも1.9dB以上のPSNR性能で、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-07-01T12:22:16Z)
• Efficient Video Deblurring Guided by Motion Magnitude [37.25713728458234]
  本稿では,MMP(Motion magnitude prior)を高効率なディープビデオデブロアリングのためのガイダンスとして利用する新しいフレームワークを提案する。 MMPは、空間的および時間的ボケレベル情報の両方で構成されており、ビデオデブロアリングのための効率的なリカレントニューラルネットワーク(RNN)にさらに統合することができる。
  論文  参考訳（メタデータ） (2022-07-27T08:57:48Z)
• NSNet: Non-saliency Suppression Sampler for Efficient Video Recognition [89.84188594758588]
  非定常フレームの応答を抑制するために, NSNet(Non-Sliency Suppression Network)を提案する。 NSNetは最先端の精度効率トレードオフを実現し、最先端の手法よりもはるかに高速な2.44.3xの実用的な推論速度を示す。
  論文  参考訳（メタデータ） (2022-07-21T09:41:22Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Efficient Spatio-Temporal Recurrent Neural Network for Video Deblurring [39.63844562890704]
  リアルタイムの劣化は、空間的および時間的に変化するぼやけ自体の複雑さのため、依然として困難な課題である。 我々はRNN細胞に残留密度ブロックを適用して、現在のフレームの空間的特徴を効率的に抽出する。 我々は、コ軸ビームスプリッタ取得システムを用いて、ペア/シャープのビデオクリップを収集し、新しいデータセット(BSD)をコミュニティにコントリビュートする。
  論文  参考訳（メタデータ） (2021-06-30T12:53:02Z)
• ARVo: Learning All-Range Volumetric Correspondence for Video Deblurring [92.40655035360729]
  ビデオデブラリングモデルは連続フレームを利用して、カメラの揺動や物体の動きからぼやけを取り除く。 特徴空間におけるボケフレーム間の空間的対応を学習する新しい暗黙的手法を提案する。 提案手法は,新たに収集したビデオデブレーション用ハイフレームレート(1000fps)データセットとともに,広く採用されているDVDデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-03-07T04:33:13Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• Cascaded Deep Video Deblurring Using Temporal Sharpness Prior [88.98348546566675]
  提案アルゴリズムは主に,中間潜水フレームと潜水フレームの復元ステップから光フローを推定する。 まず、中間潜伏フレームから光フローを推定し、推定した光フローに基づいて潜伏フレームを復元する深部CNNモデルを開発する。 ビデオデブロアリングのドメイン知識を探索することで、深層CNNモデルをよりコンパクトで効率的なものにすることができることを示す。
  論文  参考訳（メタデータ） (2020-04-06T09:13:49Z)
• Video Saliency Prediction Using Enhanced Spatiotemporal Alignment Network [35.932447204088845]
  ビデオ・サリエンシ予測に適した効果的な機能アライメント・ネットワーク(V)を開発した。 ネットワークは、隣接するフレームの特徴を粗い方法で参照フレームに整列させることを学ぶ。 提案したモデルはポスト処理なしでエンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2020-01-02T02:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。