論文の概要: Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2104.07473v1
• Date: Thu, 15 Apr 2021 17:59:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 16:12:22.993807
• Title: Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video Super-Resolution
• Title（参考訳）: Zooming SlowMo: 時空ビデオ超解法のための効率的なワンステージフレームワーク
• Authors: Xiaoyu Xiang, Yapeng Tian, Yulun Zhang, Yun Fu, Jan P. Allebach, Chenliang Xu
• Abstract要約: 時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。 入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 100.11355888909102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we address the space-time video super-resolution, which aims at generating a high-resolution (HR) slow-motion video from a low-resolution (LR) and low frame rate (LFR) video sequence. A na\"ive method is to decompose it into two sub-tasks: video frame interpolation (VFI) and video super-resolution (VSR). Nevertheless, temporal interpolation and spatial upscaling are intra-related in this problem. Two-stage approaches cannot fully make use of this natural property. Besides, state-of-the-art VFI or VSR deep networks usually have a large frame reconstruction module in order to obtain high-quality photo-realistic video frames, which makes the two-stage approaches have large models and thus be relatively time-consuming. To overcome the issues, we present a one-stage space-time video super-resolution framework, which can directly reconstruct an HR slow-motion video sequence from an input LR and LFR video. Instead of reconstructing missing LR intermediate frames as VFI models do, we temporally interpolate LR frame features of the missing LR frames capturing local temporal contexts by a feature temporal interpolation module. Extensive experiments on widely used benchmarks demonstrate that the proposed framework not only achieves better qualitative and quantitative performance on both clean and noisy LR frames but also is several times faster than recent state-of-the-art two-stage networks. The source code is released in https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020 .
• Abstract（参考訳）: 本稿では,低解像度(LR)および低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的とした,時空間ビデオ超解像について述べる。 na\"iveメソッドは、vfi(video frame interpolation)とvsr(video super- resolution)という2つのサブタスクに分解する。 しかしながら、この問題では時間的補間と空間拡大が関係している。 2段階のアプローチでは、この性質を完全には利用できない。 さらに、最先端のVFIまたはVSRディープネットワークは、高画質のフォトリアリスティックビデオフレームを得るために、通常大きなフレーム再構成モジュールを持っているため、2段階のアプローチは大きなモデルを持ち、比較的時間がかかる。 この問題を克服するために、入力LRとLFRビデオから直接HRスローモーション映像シーケンスを再構成できるワンステージ時空間ビデオ超解像フレームワークを提案する。 VFIモデルのように、欠落したLR中間フレームを再構成する代わりに、特徴のある時間的補間モジュールによって局所的な時間的コンテキストをキャプチャするLRフレームの特徴を時間的に補間する。 広範に使用されているベンチマーク実験により,提案フレームワークはクリーンかつノイズの多いLRフレームにおいて,質的かつ定量的な性能を達成するだけでなく,最近の最先端の2段階ネットワークよりも数倍高速であることが示された。 ソースコードはhttps://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020で公開されている。

関連論文リスト

• Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information [48.20843501171717]
  本稿では,任意のフレームレートと空間解像度に変換可能な連続ST-VSR(CSTVSR)手法を提案する。 本稿では,提案アルゴリズムの柔軟性が向上し,各種データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-02-26T08:02:39Z)
• Towards Interpretable Video Super-Resolution via Alternating Optimization [115.85296325037565]
  低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。 本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T21:34:05Z)
• Look Back and Forth: Video Super-Resolution with Explicit Temporal Difference Modeling [105.69197687940505]
  本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。 超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
  論文  参考訳（メタデータ） (2022-04-14T17:07:33Z)
• RSTT: Real-time Spatial Temporal Transformer for Space-Time Video Super-Resolution [13.089535703790425]
  時空ビデオ超解像(STVSR)は、低フレームレート(LFR)と低解像度(LR)の両方でビデオを補間し、高フレームレート(HFR)と高解像度(HR)の両方を生成するタスクである。 本研究では,空間的・時間的超分解能モジュールを単一モデルに自然に組み込む空間時間変換器を提案する。
  論文  参考訳（メタデータ） (2022-03-27T02:16:26Z)
• STDAN: Deformable Attention Network for Space-Time Video Super-Resolution [39.18399652834573]
  本稿では,STDAN と呼ばれる,STVSR のための変形可能なアテンションネットワークを提案する。 まず、より近隣の入力フレームから豊富なコンテンツを得ることができるLSTFI(long-short term feature)モジュールを考案する。 第2に,空間的・時間的文脈を適応的に捕捉・集約する時空間変形可能特徴集合(STDFA)モジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-14T03:40:35Z)
• Efficient Space-time Video Super Resolution using Low-Resolution Flow and Mask Upsampling [12.856102293479486]
  本稿では,低解像度・低フレームレート映像から高解像度スローモーション映像を生成することを目的とする。 シンプルなソリューションは、Video Super ResolutionとVideo Frameモデルの連続実行です。 我々のモデルは軽量であり、REDS STSR検証セットの最先端モデルよりも性能が良い。
  論文  参考訳（メタデータ） (2021-04-12T19:11:57Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。