論文の概要: Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2002.11616v1
• Date: Wed, 26 Feb 2020 16:59:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 15:53:22.031721
• Title: Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution
• Title（参考訳）: 高速で正確な1段階の宇宙時間ビデオ超解像
• Authors: Xiaoyu Xiang, Yapeng Tian, Yulun Zhang, Yun Fu, Jan P. Allebach, Chenliang Xu
• Abstract要約: 単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 95.26202278535543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore the space-time video super-resolution task, which aims to generate a high-resolution (HR) slow-motion video from a low frame rate (LFR), low-resolution (LR) video. A simple solution is to split it into two sub-tasks: video frame interpolation (VFI) and video super-resolution (VSR). However, temporal interpolation and spatial super-resolution are intra-related in this task. Two-stage methods cannot fully take advantage of the natural property. In addition, state-of-the-art VFI or VSR networks require a large frame-synthesis or reconstruction module for predicting high-quality video frames, which makes the two-stage methods have large model sizes and thus be time-consuming. To overcome the problems, we propose a one-stage space-time video super-resolution framework, which directly synthesizes an HR slow-motion video from an LFR, LR video. Rather than synthesizing missing LR video frames as VFI networks do, we firstly temporally interpolate LR frame features in missing LR video frames capturing local temporal contexts by the proposed feature temporal interpolation network. Then, we propose a deformable ConvLSTM to align and aggregate temporal information simultaneously for better leveraging global temporal contexts. Finally, a deep reconstruction network is adopted to predict HR slow-motion video frames. Extensive experiments on benchmark datasets demonstrate that the proposed method not only achieves better quantitative and qualitative performance but also is more than three times faster than recent two-stage state-of-the-art methods, e.g., DAIN+EDVR and DAIN+RBPN.
• Abstract（参考訳）: 本稿では、低フレームレート(LFR)、低解像度(LR)ビデオから高解像度(HR)スローモーションビデオを生成することを目的とした、時空ビデオ超解像タスクについて検討する。 単純な解決策は、ビデオフレーム補間(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 しかし、時間的補間と空間的超解像はこの課題に関係している。 二段階法では自然の利点を十分に活用できない。 さらに、最先端のVFIまたはVSRネットワークは、高品質なビデオフレームを予測するための大きなフレーム合成または再構成モジュールを必要とするため、2段階の手法はモデルサイズが大きく、時間を要する。 この問題を解決するために,LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。 提案する特徴時間補間ネットワークによって局所的な時間的文脈をキャプチャするLRビデオフレームにおいて、VFIネットワークのように、欠落したLRビデオフレームを合成するのではなく、まず、時間的にLRフレームの特徴を補間する。 そこで本稿では,時間的情報の整合と集約を併用した変形可能なconvlstmを提案する。 最後に、HRスローモーション映像フレームを予測するために、ディープリコンストラクションネットワークを採用する。 ベンチマークデータセットの大規模な実験により、提案手法はより定量的かつ定性的な性能を達成するだけでなく、DAIN+EDVRやDAIN+RBPNといった最近の2段階の最先端手法よりも3倍以上高速であることが示された。

関連論文リスト

• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
  低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。 本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T21:34:05Z)
• RSTT: Real-time Spatial Temporal Transformer for Space-Time Video Super-Resolution [13.089535703790425]
  時空ビデオ超解像(STVSR)は、低フレームレート(LFR)と低解像度(LR)の両方でビデオを補間し、高フレームレート(HFR)と高解像度(HR)の両方を生成するタスクである。 本研究では,空間的・時間的超分解能モジュールを単一モデルに自然に組み込む空間時間変換器を提案する。
  論文  参考訳（メタデータ） (2022-03-27T02:16:26Z)
• STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
  本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。 まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。 第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-14T03:40:35Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution [100.11355888909102]
  時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:23Z)
• Efficient Space-time Video Super Resolution using Low-Resolution Flow and Mask Upsampling [12.856102293479486]
  本稿では,低解像度・低フレームレート映像から高解像度スローモーション映像を生成することを目的とする。 シンプルなソリューションは、Video Super ResolutionとVideo Frameモデルの連続実行です。 我々のモデルは軽量であり、REDS STSR検証セットの最先端モデルよりも性能が良い。
  論文  参考訳（メタデータ） (2021-04-12T19:11:57Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。