論文の概要: Collaborative Feedback Discriminative Propagation for Video Super-Resolution
- arxiv url: http://arxiv.org/abs/2404.04745v1
- Date: Sat, 6 Apr 2024 22:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 19:50:28.727830
- Title: Collaborative Feedback Discriminative Propagation for Video Super-Resolution
- Title（参考訳）: ビデオ超解像に対する協調的フィードバック識別伝搬
- Authors: Hao Li, Xiang Chen, Jiangxin Dong, Jinhui Tang, Jinshan Pan,
- Abstract要約: ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。
不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。
伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
- 参考スコア（独自算出の注目度）: 66.61201445650323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The key success of existing video super-resolution (VSR) methods stems mainly from exploring spatial and temporal information, which is usually achieved by a recurrent propagation module with an alignment module. However, inaccurate alignment usually leads to aligned features with significant artifacts, which will be accumulated during propagation and thus affect video restoration. Moreover, propagation modules only propagate the same timestep features forward or backward that may fail in case of complex motion or occlusion, limiting their performance for high-quality frame restoration. To address these issues, we propose a collaborative feedback discriminative (CFD) method to correct inaccurate aligned features and model long -range spatial and temporal information for better video reconstruction. In detail, we develop a discriminative alignment correction (DAC) method to adaptively explore information and reduce the influences of the artifacts caused by inaccurate alignment. Then, we propose a collaborative feedback propagation (CFP) module that employs feedback and gating mechanisms to better explore spatial and temporal information of different timestep features from forward and backward propagation simultaneously. Finally, we embed the proposed DAC and CFP into commonly used VSR networks to verify the effectiveness of our method. Quantitative and qualitative experiments on several benchmarks demonstrate that our method can improve the performance of existing VSR models while maintaining a lower model complexity. The source code and pre-trained models will be available at \url{https://github.com/House-Leo/CFDVSR}.
- Abstract（参考訳）: 既存のビデオ超解像法(VSR)の主な成功は、主に空間的および時間的情報の探索から来ており、通常はアライメントモジュールによる繰り返し伝搬モジュールによって達成される。
しかし、不正確なアライメントは通常、重要なアーティファクトを持つアライメントにつながり、伝播中に蓄積され、ビデオ復元に影響を与える。
さらに、伝搬モジュールは、複雑な動きや閉塞の場合に失敗し、高品質なフレーム復元の性能が制限されるような、前向きまたは後向きの時間ステップのみを伝搬する。
これらの課題に対処するために,不正確な特徴を補正するための協調的フィードバック識別法(CFD)を提案する。
本稿では,情報探索を適応的に行う識別アライメント補正(DAC)手法を開発し,不正確なアライメントに起因するアーティファクトの影響を低減する。
そこで本研究では,フィードバックとゲーティング機構を利用した協調的フィードバック伝搬(CFP)モジュールを提案する。
最後に,提案するDACとCFPを一般的なVSRネットワークに組み込んで,本手法の有効性を検証する。
いくつかのベンチマークにおける定量的および定性的な実験により,本手法はモデルの複雑さを低く保ちながら既存のVSRモデルの性能を向上させることができることを示した。
ソースコードと事前訓練されたモデルは、 \url{https://github.com/House-Leo/CFDVSR}で入手できる。
関連論文リスト
- Cascaded Temporal Updating Network for Efficient Video Super-Resolution [47.63267159007611]
リカレントベースのVSRネットワークにおけるキーコンポーネントはモデル効率に大きな影響を及ぼす。
本稿では,効率的なVSRのための時空間更新ネットワーク(CTUN)を提案する。
CTUNは,従来の方法に比べて効率と性能のトレードオフが良好である。
論文 参考訳（メタデータ） (2024-08-26T12:59:32Z) - Deformable Feature Alignment and Refinement for Moving Infrared Dim-small Target Detection [17.765101100010224]
本稿では,変形可能なコンボリューションに基づく変形可能な特徴アライメント・リファインメント(DFAR)手法を提案する。
提案手法はDAUBとIRDSTを含む2つのベンチマークデータセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-07-10T00:42:25Z) - Spatial-Temporal Transformer based Video Compression Framework [44.723459144708286]
本稿では,STT-VC(Spatial-Temporal Transformer based Video Compression)フレームワークを提案する。
動作推定と補償のためのオフセット推定のためのUformerベースのオフセット推定を備えたRelaxed Deformable Transformer (RDT)と、予測改善のためのマルチ参照フレームに基づくMulti-Granularity Prediction (MGP)モジュールと、時間空間的継手残留圧縮を効率的に行うSpatial Feature Distribution prior based Transformer (SFD-T)を含む。
実験の結果,VTMよりも13.5%のBD-Rateを節約できることがわかった。
論文 参考訳（メタデータ） (2023-09-21T09:23:13Z) - Local-Global Temporal Difference Learning for Satellite Video
Super-Resolution [55.69322525367221]
本稿では,時間的差分を効果的かつ効果的な時間的補償に利用することを提案する。
フレーム内における局所的・大域的時間的情報を完全に活用するために,短期・長期的時間的相違を体系的にモデル化した。
5つの主流ビデオ衛星に対して行われた厳密な客観的および主観的評価は、我々の手法が最先端のアプローチに対して好適に機能することを実証している。
論文 参考訳（メタデータ） (2023-04-10T07:04:40Z) - Boosting Video Super Resolution with Patch-Based Temporal Redundancy
Optimization [46.833568886576074]
静止物体と背景を持つパッチにおける時間的冗長性の影響について論じる。
我々は,既存の局所的および非局所的伝搬型VSRアルゴリズムの性能向上のための,シンプルで効果的な2つのプラグアンドプレイ法を開発した。
論文 参考訳（メタデータ） (2022-07-18T15:11:18Z) - Look Back and Forth: Video Super-Resolution with Explicit Temporal
Difference Modeling [105.69197687940505]
本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。
超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
論文 参考訳（メタデータ） (2022-04-14T17:07:33Z) - Revisiting Temporal Alignment for Video Restoration [39.05100686559188]
長時間の時間的アライメントは、ビデオ復元作業には不可欠だが、難しい。
本稿では, 段階的な修正手法を応用した, 新規で汎用的な反復的アライメントモジュールを提案する。
本モデルは,映像復元タスクの多種多様なベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2021-11-30T11:08:52Z) - Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time
Video Super-Resolution [52.899234731501075]
時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。
既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。
本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-10-13T15:21:30Z) - MuCAN: Multi-Correspondence Aggregation Network for Video
Super-Resolution [63.02785017714131]
ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。
フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。
VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
論文 参考訳（メタデータ） (2020-07-23T05:41:27Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳（メタデータ） (2020-02-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。