論文の概要: Efficient Space-time Video Super Resolution using Low-Resolution Flow
and Mask Upsampling
- arxiv url: http://arxiv.org/abs/2104.05778v1
- Date: Mon, 12 Apr 2021 19:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:20:07.007676
- Title: Efficient Space-time Video Super Resolution using Low-Resolution Flow
and Mask Upsampling
- Title（参考訳）: 低解像度フローとマスクアップサンプリングを用いた高能率時空ビデオ超解像
- Authors: Saikat Dutta, Nisarg A. Shah, Anurag Mittal
- Abstract要約: 本稿では,低解像度・低フレームレート映像から高解像度スローモーション映像を生成することを目的とする。
シンプルなソリューションは、Video Super ResolutionとVideo Frameモデルの連続実行です。
我々のモデルは軽量であり、REDS STSR検証セットの最先端モデルよりも性能が良い。
- 参考スコア（独自算出の注目度）: 12.856102293479486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores an efficient solution for Space-time Super-Resolution,
aiming to generate High-resolution Slow-motion videos from Low Resolution and
Low Frame rate videos. A simplistic solution is the sequential running of Video
Super Resolution and Video Frame interpolation models. However, this type of
solutions are memory inefficient, have high inference time, and could not make
the proper use of space-time relation property. To this extent, we first
interpolate in LR space using quadratic modeling. Input LR frames are
super-resolved using a state-of-the-art Video Super-Resolution method. Flowmaps
and blending mask which are used to synthesize LR interpolated frame is reused
in HR space using bilinear upsampling. This leads to a coarse estimate of HR
intermediate frame which often contains artifacts along motion boundaries. We
use a refinement network to improve the quality of HR intermediate frame via
residual learning. Our model is lightweight and performs better than current
state-of-the-art models in REDS STSR Validation set.
- Abstract（参考訳）: 本稿では,低分解能・低フレームレートビデオから高解像度スローモーションビデオを生成することを目的とした,時空超解の効率的な解法を提案する。
単純化された解決策は、ビデオスーパーレゾリューションとビデオフレーム補間モデルの逐次実行である。
しかし、この種の解はメモリ非効率であり、高い推論時間を持ち、時空関係特性を適切に利用することはできない。
この範囲で、まず2次モデリングを用いてLR空間を補間する。
入力LRフレームは、最先端のビデオ超解法を用いて超解される。
LR補間フレームの合成に用いられるフローマップとブレンディングマスクは、バイリニアアップサンプリングを用いてHR空間で再利用される。
これはHR中間フレームの粗い推定につながり、しばしば運動境界に沿ってアーティファクトを含む。
残差学習によるHR中間フレームの品質向上のために,改良ネットワークを用いた。
我々のモデルは軽量であり、REDS STSRバリデーションセットの最先端モデルよりも性能が良い。
関連論文リスト
- Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T21:34:05Z) - Look Back and Forth: Video Super-Resolution with Explicit Temporal
Difference Modeling [105.69197687940505]
本稿では,LR空間とHR空間における時間差の明示的モデル化の役割について検討する。
超解像結果をさらに高めるために、空間残留特徴を抽出するだけでなく、高周波領域における連続フレーム間の差も計算する。
論文 参考訳（メタデータ） (2022-04-14T17:07:33Z) - RSTT: Real-time Spatial Temporal Transformer for Space-Time Video
Super-Resolution [13.089535703790425]
時空ビデオ超解像(STVSR)は、低フレームレート(LFR)と低解像度(LR)の両方でビデオを補間し、高フレームレート(HFR)と高解像度(HR)の両方を生成するタスクである。
本研究では,空間的・時間的超分解能モジュールを単一モデルに自然に組み込む空間時間変換器を提案する。
論文 参考訳（メタデータ） (2022-03-27T02:16:26Z) - Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。
従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。
対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
論文 参考訳（メタデータ） (2021-08-25T05:12:14Z) - Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video
Super-Resolution [100.11355888909102]
時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。
入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-15T17:59:23Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳（メタデータ） (2020-02-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。