論文の概要: Real-Time Super-Resolution System of 4K-Video Based on Deep Learning
- arxiv url: http://arxiv.org/abs/2107.05307v2
- Date: Wed, 14 Jul 2021 14:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-15 11:18:43.310001
- Title: Real-Time Super-Resolution System of 4K-Video Based on Deep Learning
- Title（参考訳）: ディープラーニングに基づく4Kビデオのリアルタイム超解像システム
- Authors: Yanpeng Cao, Chengcheng Wang, Changjun Song, Yongming Tang, He Li
- Abstract要約: ビデオレゾリューション(VSR)技術は低品質のビデオ計算において優れており、職業ベースのアルゴリズムによって生じる不快なブラー効果を回避している。
本稿では、リアルタイムVSシステムの可能性について検討し、EGVSRと呼ばれる効率的な汎用VSRネットワークを設計する。
現在最も先進的なVSRネットワークであるTecoGANと比較して、密度の84%削減と7.92倍の性能向上を実現している。
- 参考スコア（独自算出の注目度）: 6.182364004551161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video super-resolution (VSR) technology excels in reconstructing low-quality
video, avoiding unpleasant blur effect caused by interpolation-based
algorithms. However, vast computation complexity and memory occupation hampers
the edge of deplorability and the runtime inference in real-life applications,
especially for large-scale VSR task. This paper explores the possibility of
real-time VSR system and designs an efficient and generic VSR network, termed
EGVSR. The proposed EGVSR is based on spatio-temporal adversarial learning for
temporal coherence. In order to pursue faster VSR processing ability up to 4K
resolution, this paper tries to choose lightweight network structure and
efficient upsampling method to reduce the computation required by EGVSR network
under the guarantee of high visual quality. Besides, we implement the batch
normalization computation fusion, convolutional acceleration algorithm and
other neural network acceleration techniques on the actual hardware platform to
optimize the inference process of EGVSR network. Finally, our EGVSR achieves
the real-time processing capacity of 4K@29.61FPS. Compared with TecoGAN, the
most advanced VSR network at present, we achieve 85.04% reduction of
computation density and 7.92x performance speedups. In terms of visual quality,
the proposed EGVSR tops the list of most metrics (such as LPIPS, tOF, tLP,
etc.) on the public test dataset Vid4 and surpasses other state-of-the-art
methods in overall performance score. The source code of this project can be
found on https://github.com/Thmen/EGVSR.
- Abstract（参考訳）: ビデオ超解像(VSR)技術は、補間に基づくアルゴリズムによって生じる不快なブラー効果を回避し、低品質のビデオの再構成に優れる。
しかし、計算の複雑さとメモリ占有は、特に大規模なVSRタスクにおいて、現実のアプリケーションにおける遅延性と実行時の推論の端を脅かす。
本稿では、リアルタイムVSRシステムの可能性について検討し、EGVSRと呼ばれる効率的で汎用的なVSRネットワークを設計する。
The proposed EGVSR is based on spatio-temporal adversarial learning for temporal coherence。
本稿では,最大4k解像度のvsr処理を高速化するために,軽量ネットワーク構造と効率的なアップサンプリング手法を選択し,高画質でegvsrネットワークに必要な計算量を削減することを試みる。
さらに,実ハードウェアプラットフォーム上でのバッチ正規化計算融合,畳み込み高速化アルゴリズム,その他のニューラルネットワーク高速化手法を実装し,EGVSRネットワークの推論プロセスを最適化する。
最後に、EGVSRは4K@29.61FPSのリアルタイム処理能力を達成する。
現在最も進んだVSRネットワークであるTecoGANと比較して、計算密度の85.04%削減と7.92倍の性能向上を実現している。
視覚的品質の面では、提案されたEGVSRがほとんどの指標(LPIPS、tOF、tLPなど)の上位である。
パブリックテストデータセットのVid4で、パフォーマンススコアで他の最先端メソッドを上回る。
プロジェクトのソースコードはhttps://github.com/Thmen/EGVSRで確認できる。
関連論文リスト
- Cascaded Temporal Updating Network for Efficient Video Super-Resolution [47.63267159007611]
リカレントベースのVSRネットワークにおけるキーコンポーネントはモデル効率に大きな影響を及ぼす。
本稿では,効率的なVSRのための時空間更新ネットワーク(CTUN)を提案する。
CTUNは,従来の方法に比べて効率と性能のトレードオフが良好である。
論文 参考訳（メタデータ） (2024-08-26T12:59:32Z) - Benchmark Dataset and Effective Inter-Frame Alignment for Real-World
Video Super-Resolution [65.20905703823965]
ビデオ超解像(VSR)は、高解像度(HR)動画を低解像度(LR)ビデオから再構成することを目的としており、近年大きく進歩している。
既存のVSRメソッドを複雑な劣化を伴う実世界のデータにデプロイすることは依然として困難である。
EAVSRは、提案した多層適応空間変換ネットワーク(MultiAdaSTN)を用いて、事前学習した光フロー推定ネットワークが提供するオフセットを洗練する。
論文 参考訳（メタデータ） (2022-12-10T17:41:46Z) - Sliding Window Recurrent Network for Efficient Video Super-Resolution [0.0]
ビデオ超解像(VSR)は、高解像度のフレームを低解像度の入力列から復元するタスクである。
本研究では,テキストスライディングウィンドウをベースとしたリカレントネットワーク(SWRN)を提案する。
筆者らはREDSデータセットを用いて,提案手法をモバイルデバイスに適用し,視覚的に快適な結果が得られることを示した。
論文 参考訳（メタデータ） (2022-08-24T15:23:44Z) - Boosting Video Super Resolution with Patch-Based Temporal Redundancy
Optimization [46.833568886576074]
静止物体と背景を持つパッチにおける時間的冗長性の影響について論じる。
我々は,既存の局所的および非局所的伝搬型VSRアルゴリズムの性能向上のための,シンプルで効果的な2つのプラグアンドプレイ法を開発した。
論文 参考訳（メタデータ） (2022-07-18T15:11:18Z) - An Efficient Network Design for Face Video Super-resolution [3.950210498382569]
ネットワークトレーニングと評価のための顔映像シーケンスからなるデータセットを構築した。
我々は3つの組み合わせ戦略を用いて、最適化プロセスの高速化のために、同時列車評価法を用いて、ネットワークパラメーターを最適化する。
生成されたネットワークは、少なくとも52.4%のパラメータと20.7%のFLOPを削減し、PSNR、SSIMの性能を向上させる。
論文 参考訳（メタデータ） (2021-09-28T11:28:34Z) - Deep Space-Time Video Upsampling Networks [47.62807427163614]
ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。
本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。
その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
論文 参考訳（メタデータ） (2020-04-06T07:04:21Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z) - Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。
本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
論文 参考訳（メタデータ） (2020-02-15T13:14:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。