論文の概要: Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration

• arxiv url: http://arxiv.org/abs/2309.01627v1
• Date: Mon, 4 Sep 2023 14:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 18:23:04.032518
• Title: Cross-Consistent Deep Unfolding Network for Adaptive All-In-One Video Restoration
• Title（参考訳）: 適応型オールインワンビデオ復元のためのクロスコンテンシブディープアンフォールディングネットワーク
• Authors: Yuanshuo Cheng, Mingwen Shao, Yecong Wan, Lixu Zhang, Wangmeng Zuo, Deyu Meng
• Abstract要約: オールインワンVRのためのクロスコンセントディープ・アンフォールディング・ネットワーク(CDUN)を提案する。 2つのカスケード手順を編成することにより、CDUNは様々な劣化に対する適応的な処理を達成する。 さらに、より隣接するフレームからの情報を活用するために、ウィンドウベースのフレーム間融合戦略を導入する。
• 参考スコア（独自算出の注目度）: 78.59880622129955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Video Restoration (VR) methods always necessitate the individual deployment of models for each adverse weather to remove diverse adverse weather degradations, lacking the capability for adaptive processing of degradations. Such limitation amplifies the complexity and deployment costs in practical applications. To overcome this deficiency, in this paper, we propose a Cross-consistent Deep Unfolding Network (CDUN) for All-In-One VR, which enables the employment of a single model to remove diverse degradations for the first time. Specifically, the proposed CDUN accomplishes a novel iterative optimization framework, capable of restoring frames corrupted by corresponding degradations according to the degradation features given in advance. To empower the framework for eliminating diverse degradations, we devise a Sequence-wise Adaptive Degradation Estimator (SADE) to estimate degradation features for the input corrupted video. By orchestrating these two cascading procedures, CDUN achieves adaptive processing for diverse degradation. In addition, we introduce a window-based inter-frame fusion strategy to utilize information from more adjacent frames. This strategy involves the progressive stacking of temporal windows in multiple iterations, effectively enlarging the temporal receptive field and enabling each frame's restoration to leverage information from distant frames. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance in All-In-One VR.
• Abstract（参考訳）: 既存のビデオ復元(VR)手法は、様々な悪天候の劣化を取り除くために、各悪天候に対する個々のモデルの展開を必要とし、劣化の適応処理能力に欠ける。 このような制限は、実用アプリケーションにおける複雑さとデプロイメントコストを増幅する。 そこで本稿では,この不足を克服するために,オールインワンvrのためのクロスコンテンス・ディープ・アンフォールディング・ネットワーク(cdun)を提案する。 具体的には,事前に与えられた劣化特性に応じて,対応する劣化により破損したフレームを復元することのできる,新しい反復最適化フレームワークを実現する。 多様な劣化を除去する枠組みを強化するために,入力された劣化映像の劣化特性を推定するシーケンスワイド適応劣化推定器(SADE)を考案した。 これら2つのカスケード手順を編成することにより、CDUNは多様な劣化に対する適応的な処理を達成する。 さらに,より隣接したフレームからの情報を活用するためのウィンドウベースのフレーム間融合戦略を提案する。 この戦略は、複数の繰り返しにおける時間窓の進行的な積み重ねを伴い、時間的受容領域を効果的に拡大し、各フレームの復元が遠方のフレームからの情報を活用することを可能にする。 広汎な実験により,All-In-One VRにおける最先端性能が得られた。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• AllRestorer: All-in-One Transformer for Image Restoration under Composite Degradations [52.076067325999226]
  本稿では,新しいトランスフォーマーベースの復元フレームワークAllRestorerを提案する。 AllRestorerは、すべてのイメージ障害を適応的に考慮し、シーンディスクリプタのミスダイレクトによるエラーを避ける。 CDD-11データセットのベースラインと比較して,AllRestorerはPSNRの5.00dB増加を実現している。
  論文  参考訳（メタデータ） (2024-11-16T05:30:55Z)
• All-in-one Weather-degraded Image Restoration via Adaptive Degradation-aware Self-prompting Model [23.940339806402882]
  オールインワンの気象劣化画像復元のための既存のアプローチは、劣化認識の事前利用における非効率性に悩まされている。 我々は、オールインワンの気象劣化画像復元のための適応型劣化認識自己プロンプトモデル(ADSM)を開発した。
  論文  参考訳（メタデータ） (2024-11-12T00:07:16Z)
• Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers [53.298698981438]
  これは、モデルを一連の劣化ベースでトレーニングし、これらのベースがゼロショットで構成できる可能性のある劣化を除去する、新しいタスク設定である。 段階的に問題に対処するLLMに着想を得たCoR(Chain-of-Thought)を提案する。 CoRは、未知の複合劣化を段階的に除去するようモデルに指示する。
  論文  参考訳（メタデータ） (2024-10-11T10:21:42Z)
• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。 1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。 本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。