論文の概要: Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video
Restoration
- arxiv url: http://arxiv.org/abs/2309.01627v3
- Date: Mon, 11 Dec 2023 02:30:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 01:47:29.360196
- Title: Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video
Restoration
- Title(参考訳): 適応型オールインワンビデオ復元のためのクロスコンテンシブディープアンフォールディングネットワーク
- Authors: Yuanshuo Cheng, Mingwen Shao, Yecong Wan, Yuanjian Qiao, Wangmeng Zuo,
Deyu Meng
- Abstract要約: オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。
2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。
さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
- 参考スコア(独自算出の注目度): 78.14941737723501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Video Restoration (VR) methods always necessitate the individual
deployment of models for each adverse weather to remove diverse adverse weather
degradations, lacking the capability for adaptive processing of degradations.
Such limitation amplifies the complexity and deployment costs in practical
applications. To overcome this deficiency, in this paper, we propose a
Cross-consistent Deep Unfolding Network (CDUN) for All-In-One VR, which enables
the employment of a single model to remove diverse degradations for the first
time. Specifically, the proposed CDUN accomplishes a novel iterative
optimization framework, capable of restoring frames corrupted by corresponding
degradations according to the degradation features given in advance. To empower
the framework for eliminating diverse degradations, we devise a Sequence-wise
Adaptive Degradation Estimator (SADE) to estimate degradation features for the
input corrupted video. By orchestrating these two cascading procedures, CDUN
achieves adaptive processing for diverse degradation. In addition, we introduce
a window-based inter-frame fusion strategy to utilize information from more
adjacent frames. This strategy involves the progressive stacking of temporal
windows in multiple iterations, effectively enlarging the temporal receptive
field and enabling each frame's restoration to leverage information from
distant frames. Extensive experiments demonstrate that the proposed method
achieves state-of-the-art performance in All-In-One VR.
- Abstract(参考訳): 既存のビデオ復元(VR)手法は、様々な悪天候の劣化を取り除くために、各悪天候に対する個々のモデルの展開を必要とし、劣化の適応処理能力に欠ける。
このような制限は、実用アプリケーションにおける複雑さとデプロイメントコストを増幅する。
そこで本稿では,この不足を克服するために,オールインワンvrのためのクロスコンテンス・ディープ・アンフォールディング・ネットワーク(cdun)を提案する。
具体的には,事前に与えられた劣化特性に応じて,対応する劣化により破損したフレームを復元することのできる,新しい反復最適化フレームワークを実現する。
多様な劣化を除去する枠組みを強化するために,入力された劣化映像の劣化特性を推定するシーケンスワイド適応劣化推定器(SADE)を考案した。
これら2つのカスケード手順を編成することにより、CDUNは多様な劣化に対する適応的な処理を達成する。
さらに,より隣接したフレームからの情報を活用するためのウィンドウベースのフレーム間融合戦略を提案する。
この戦略は、複数の繰り返しにおける時間窓の進行的な積み重ねを伴い、時間的受容領域を効果的に拡大し、各フレームの復元が遠方のフレームからの情報を活用することを可能にする。
広汎な実験により,All-In-One VRにおける最先端性能が得られた。
関連論文リスト
- ConVRT: Consistent Video Restoration Through Turbulence with Test-time
Optimization of Neural Video Representations [13.38405890753946]
乱流を通した連続ビデオ再生(ConVRT)を自己管理する手法を提案する。
ConVRTは、回復時の時間的一貫性を高めるように設計されたニューラルビデオ表現を特徴とするテスト時間最適化手法である。
ConVRTの重要な革新は、セマンティック指向の監視のための事前訓練された視覚言語モデル(CLIP)の統合である。
論文 参考訳(メタデータ) (2023-12-07T20:19:48Z) - DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image
Restoration [5.573836220587265]
本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。
DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。
複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
論文 参考訳(メタデータ) (2023-07-15T02:42:19Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-07-11T02:31:31Z) - Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。
RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-06-05T10:36:09Z) - Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation for
Face Restoration [4.244692655670362]
Panini-Netは、顔修復のための劣化認識機能ネットワークである。
抽象表現を学び、様々な劣化を区別する。
マルチ劣化顔復元と超解像のための最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-16T07:41:07Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳(メタデータ) (2020-03-02T13:28:32Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳(メタデータ) (2020-02-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。