論文の概要: PP-MSVSR: Multi-Stage Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2112.02828v1
• Date: Mon, 6 Dec 2021 07:28:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 16:28:14.812813
• Title: PP-MSVSR: Multi-Stage Video Super-Resolution
• Title（参考訳）: PP-MSVSR:マルチステージビデオスーパーリゾリューション
• Authors: Lielin Jiang and Na Wang and Qingqing Dang and Rui Liu and Baohua Lai
• Abstract要約: ビデオ超解法(VSR)タスクの鍵は、フレーム間の補完情報をフル活用して高解像度シーケンスを再構築することである。 PP-MSVSRと呼ばれる多段VSR深層構造を, 局所融合モジュール, 補助損失, 再配置モジュールを用いて提案する。 PP-MSVSRのPSNRは28.13dBであり、パラメータはわずか1.45Mである。
• 参考スコア（独自算出の注目度）: 4.039183755023383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Different from the Single Image Super-Resolution(SISR) task, the key for Video Super-Resolution(VSR) task is to make full use of complementary information across frames to reconstruct the high-resolution sequence. Since images from different frames with diverse motion and scene, accurately aligning multiple frames and effectively fusing different frames has always been the key research work of VSR tasks. To utilize rich complementary information of neighboring frames, in this paper, we propose a multi-stage VSR deep architecture, dubbed as PP-MSVSR, with local fusion module, auxiliary loss and re-align module to refine the enhanced result progressively. Specifically, in order to strengthen the fusion of features across frames in feature propagation, a local fusion module is designed in stage-1 to perform local feature fusion before feature propagation. Moreover, we introduce an auxiliary loss in stage-2 to make the features obtained by the propagation module reserve more correlated information connected to the HR space, and introduce a re-align module in stage-3 to make full use of the feature information of the previous stage. Extensive experiments substantiate that PP-MSVSR achieves a promising performance of Vid4 datasets, which achieves a PSNR of 28.13dB with only 1.45M parameters. And the PP-MSVSR-L exceeds all state of the art method on REDS4 datasets with considerable parameters. Code and models will be released in PaddleGAN\footnote{https://github.com/PaddlePaddle/PaddleGAN.}.
• Abstract（参考訳）: SISR(Single Image Super-Resolution)タスクとは異なり、VSR(Video Super-Resolution)タスクの鍵は、フレーム間の補完情報をフル活用して高解像度シーケンスを再構築することである。 さまざまな動きとシーンを持つ異なるフレームからのイメージは、複数のフレームを正確に調整し、異なるフレームを効果的に活用することが、vsrタスクの重要な研究作業である。 本稿では, 隣接するフレームの豊富な補完情報を活用するために, PP-MSVSRと呼ばれる多段VSR深層アーキテクチャを提案する。 具体的には、特徴伝播においてフレーム間の特徴の融合を強化するために、局所的融合モジュールがステージ1で設計され、特徴伝播の前に局所的特徴融合を行う。 さらに,伝搬モジュールにより得られた特徴をHR空間に関連付けられたより関連性の高い情報にするために,ステージ2の補助的損失を導入し,ステージ3に再調整モジュールを導入して,前のステージの特徴情報をフル活用する。 PP-MSVSRはVid4データセットの有望な性能を達成し、PSNRは28.13dBで、パラメータはわずか1.45Mである。 また,PP-MSVSR-LはREDS4データセット上でのアート手法のすべての状態を超え,パラメータがかなり大きい。 コードとモデルはPaddleGAN\footnote{https://github.com/PaddlePaddle/PaddleGANでリリースされる。 }.

関連論文リスト

• Arbitrary-Scale Video Super-Resolution with Structural and Textural Priors [80.92195378575671]
  Arbitraスケール超解像(AVSR)の強いベースラインについて述べる。 次に、事前学習したVGGネットワークから計算したマルチスケールの構造とテクスチャをベースラインに組み込むことにより、ST-AVSRを導入する。 総合的な実験により、ST-AVSRは最先端技術よりも超解像品質、一般化能力、推論速度を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-07-13T15:27:39Z)
• Joint Reference Frame Synthesis and Post Filter Enhancement for Versatile Video Coding [53.703894799335735]
  本稿では, Versatile Video Coding (VVC) のためのジョイントリファレンスフレーム合成 (RFS) と後処理フィルタ拡張 (PFE) を提案する。 RFS と PFE は Space-Time Enhancement Network (STENet) を使用しており、2つの入力フレームをアーティファクトで受信し、2つの拡張フレームを圧縮されたアーティファクトと中間合成フレームで生成する。 推論の複雑さを低減するために,STENetの単一実行によって達成されるFSとPFE(JISE)の合同推論を提案する。
  論文  参考訳（メタデータ） (2024-04-28T03:11:44Z)
• You Only Align Once: Bidirectional Interaction for Spatial-Temporal Video Super-Resolution [14.624610700550754]
  そこで本研究では,ST-VSRの双方向相互作用を考慮した効率的なリカレントネットワークを提案する。 最初は未来から過去への後方推論を行い、その後、超解中間フレームへの前方推論を行う。 提案手法は, 最先端の手法よりも効率が良く, 計算コストを約22%削減する。
  論文  参考訳（メタデータ） (2022-07-13T17:01:16Z)
• STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
  本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。 まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。 第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-14T03:40:35Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• Multi-Stage Progressive Image Restoration [167.6852235432918]
  本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。 本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。 MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2021-02-04T18:57:07Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)
• Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov Model Inference [17.82232046395501]
  本稿では,カメラセンサデータを直接利用可能な,新しい深層学習型ビデオ超解法(VSR)を提案する。 提案手法は、最先端技術と比較して優れたVSR結果が得られ、特定のカメラISPに適応できる。
  論文  参考訳（メタデータ） (2020-08-24T21:14:13Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)
• Video Saliency Prediction Using Enhanced Spatiotemporal Alignment Network [35.932447204088845]
  ビデオ・サリエンシ予測に適した効果的な機能アライメント・ネットワーク(V)を開発した。 ネットワークは、隣接するフレームの特徴を粗い方法で参照フレームに整列させることを学ぶ。 提案したモデルはポスト処理なしでエンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2020-01-02T02:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。