論文の概要: Temporal Consistency Learning of inter-frames for Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2211.01639v1
• Date: Thu, 3 Nov 2022 08:23:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 13:27:04.639544
• Title: Temporal Consistency Learning of inter-frames for Video Super-Resolution
• Title（参考訳）: ビデオ超解像のためのフレーム間一貫性学習
• Authors: Meiqin Liu, Shuo Jin, Chao Yao, Chunyu Lin and Yao Zhao
• Abstract要約: ビデオ超解像(VSR)は、低解像度(LR)参照フレームと複数の隣接フレームから高解像度(HR)フレームを再構成することを目的としたタスクである。 既存の手法は一般に情報伝達とフレームアライメントを探求し、VSRの性能を向上させる。 本稿では,再建されたビデオの一貫性を高めるため,VSRのための時間一貫性学習ネットワーク(TCNet)を提案する。
• 参考スコア（独自算出の注目度）: 38.26035126565062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video super-resolution (VSR) is a task that aims to reconstruct high-resolution (HR) frames from the low-resolution (LR) reference frame and multiple neighboring frames. The vital operation is to utilize the relative misaligned frames for the current frame reconstruction and preserve the consistency of the results. Existing methods generally explore information propagation and frame alignment to improve the performance of VSR. However, few studies focus on the temporal consistency of inter-frames. In this paper, we propose a Temporal Consistency learning Network (TCNet) for VSR in an end-to-end manner, to enhance the consistency of the reconstructed videos. A spatio-temporal stability module is designed to learn the self-alignment from inter-frames. Especially, the correlative matching is employed to exploit the spatial dependency from each frame to maintain structural stability. Moreover, a self-attention mechanism is utilized to learn the temporal correspondence to implement an adaptive warping operation for temporal consistency among multi-frames. Besides, a hybrid recurrent architecture is designed to leverage short-term and long-term information. We further present a progressive fusion module to perform a multistage fusion of spatio-temporal features. And the final reconstructed frames are refined by these fused features. Objective and subjective results of various experiments demonstrate that TCNet has superior performance on different benchmark datasets, compared to several state-of-the-art methods.
• Abstract（参考訳）: ビデオ超解像(VSR)は、低解像度(LR)参照フレームと複数の隣接フレームから高解像度(HR)フレームを再構成することを目的としたタスクである。 重要な操作は、現在のフレーム再構築に相対的不整合フレームを利用し、結果の整合性を維持することである。 既存の手法は一般に情報伝達とフレームアライメントを探求し、VSRの性能を向上させる。 しかし、フレーム間の時間的一貫性に注目する研究はほとんどない。 本稿では,再建されたビデオの一貫性を高めるために,VSRのための時間一貫性学習ネットワーク(TCNet)を提案する。 時空間安定モジュールはフレーム間の自己アライメントを学習するために設計されている。 特に相関マッチングを用いて各フレームからの空間依存を利用して構造安定性を維持する。 さらに、自己注意機構を用いて時間対応を学習し、多フレーム間の時間整合性に適応的なワープ操作を実装する。 さらに、短期的および長期的な情報を活用するために、ハイブリッドリカレントアーキテクチャが設計されている。 さらに,時空間特徴の多段階融合を行うためのプログレッシブ融合モジュールを提案する。 そして、最終的に復元されたフレームは、これらの融合した特徴によって洗練される。 様々な実験の客観的および主観的な結果から、TCNetはいくつかの最先端手法と比較して、異なるベンチマークデータセットで優れた性能を示している。

関連論文リスト

• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction [9.456643513690633]
  時空ビデオ超解像(STVSR)の目的は、ビデオのフレームレートと空間解像度の両方を増加させることである。 近年のアプローチでは、エンドツーエンドのディープニューラルネットワークを用いてSTVSRを解く。 本研究では,空間的・時間的相関を利用してSTVSRを強化する空間的・時間的特徴相互作用ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-07-18T22:10:57Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
  本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。 まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。 第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-14T03:40:35Z)
• MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution [63.02785017714131]
  ビデオ超解像(VSR)は、複数の低解像度フレームを使用して、各フレームに対して高解像度の予測を生成することを目的としている。 フレーム間およびフレーム内は、時間的および空間的情報を利用するための鍵となるソースである。 VSRのための効果的なマルチ対応アグリゲーションネットワーク(MuCAN)を構築した。
  論文  参考訳（メタデータ） (2020-07-23T05:41:27Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。