論文の概要: An Efficient Network Design for Face Video Super-resolution

• arxiv url: http://arxiv.org/abs/2109.13626v1
• Date: Tue, 28 Sep 2021 11:28:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 20:44:00.183041
• Title: An Efficient Network Design for Face Video Super-resolution
• Title（参考訳）: フェースビデオ超解像のための効率的なネットワーク設計
• Authors: Feng Yu, He Li, Sige Bian, Yongming Tang
• Abstract要約: ネットワークトレーニングと評価のための顔映像シーケンスからなるデータセットを構築した。 我々は3つの組み合わせ戦略を用いて、最適化プロセスの高速化のために、同時列車評価法を用いて、ネットワークパラメーターを最適化する。 生成されたネットワークは、少なくとも52.4%のパラメータと20.7%のFLOPを削減し、PSNR、SSIMの性能を向上させる。
• 参考スコア（独自算出の注目度）: 3.950210498382569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Face video super-resolution algorithm aims to reconstruct realistic face details through continuous input video sequences. However, existing video processing algorithms usually contain redundant parameters to guarantee different super-resolution scenes. In this work, we focus on super-resolution of face areas in original video scenes, while rest areas are interpolated. This specific super-resolved task makes it possible to cut redundant parameters in general video super-resolution networks. We construct a dataset consisting entirely of face video sequences for network training and evaluation, and conduct hyper-parameter optimization in our experiments. We use three combined strategies to optimize the network parameters with a simultaneous train-evaluation method to accelerate optimization process. Results show that simultaneous train-evaluation method improves the training speed and facilitates the generation of efficient networks. The generated network can reduce at least 52.4% parameters and 20.7% FLOPs, achieve better performance on PSNR, SSIM compared with state-of-art video super-resolution algorithms. When processing 36x36x1x3 input video frame sequences, the efficient network provides 47.62 FPS real-time processing performance. We name our proposal as hyper-parameter optimization for face Video Super-Resolution (HO-FVSR), which is open-sourced at https://github.com/yphone/efficient-network-for-face-VSR.
• Abstract（参考訳）: face video super- resolutionアルゴリズムは、連続入力ビデオシーケンスを通して、リアルな顔の詳細を再構築することを目的としている。 しかし、既存のビデオ処理アルゴリズムは通常、異なる超解像度シーンを保証するために冗長パラメータを含む。 本研究では,オリジナル映像シーンにおける顔領域の超解像に着目し,静止領域を補間する。 このタスクにより、一般的なビデオ超解像ネットワークにおいて冗長パラメータをカットできる。 ネットワークトレーニングと評価のための顔映像シーケンスからなるデータセットを構築し,実験でハイパーパラメータ最適化を行った。 ネットワークパラメータの最適化には3つの手法を併用し,同時列車評価法を用いて最適化プロセスを高速化した。 その結果,同時列車評価手法はトレーニング速度を向上し,効率的なネットワーク生成を容易にすることがわかった。 生成されたネットワークは、少なくとも52.4%のパラメータと20.7%のFLOPを削減でき、最先端のビデオ超解像アルゴリズムと比較してPSNR、SSIMの性能が向上する。 36x36x1x3入力ビデオフレームシーケンスを処理する際には、47.62 FPSリアルタイム処理性能を提供する。 我々はこの提案を, https://github.com/yphone/ efficient-network-for-face-VSR でオープンソース化された Face Video Super-Resolution (HO-FVSR) のハイパーパラメータ最適化として挙げる。

関連論文リスト

• Scale-Adaptive Feature Aggregation for Efficient Space-Time Video Super-Resolution [14.135298731079164]
  本稿では,個々のサンプルに対して異なる処理スケールのサブネットワークを適応的に選択する,SAFA(Scale-Adaptive Feature Aggregation)ネットワークを提案する。 我々のSAFAネットワークは,PSNRにおける平均0.5dB以上の改善により,TMNetやVideoINRといった最近の最先端手法よりも優れており,パラメータの半数未満と計算コストは1/3に満たない。
  論文  参考訳（メタデータ） (2023-10-26T10:18:51Z)
• Differentiable Resolution Compression and Alignment for Efficient Video Classification and Retrieval [16.497758750494537]
  本稿では,高解像度圧縮・アライメント機構を備えた効率的な映像表現ネットワークを提案する。 我々は、相性および非相性フレーム特徴を符号化するために、微分可能なコンテキスト対応圧縮モジュールを利用する。 我々は,異なる解像度のフレーム特徴間のグローバル時間相関を捉えるために,新しい解像度変換器層を導入する。
  論文  参考訳（メタデータ） (2023-09-15T05:31:53Z)
• Deep Unsupervised Key Frame Extraction for Efficient Video Classification [63.25852915237032]
  本研究は、畳み込みニューラルネットワーク(CNN)と時間セグメント密度ピーククラスタリング(TSDPC)を組み合わせたキーフレームの検索方法を提案する。 提案した TSDPC は汎用的で強力なフレームワークであり,従来の研究に比べて2つの利点がある。 さらに、CNNの上部にLong Short-Term Memory Network (LSTM)を追加し、分類性能をさらに高める。
  論文  参考訳（メタデータ） (2022-11-12T20:45:35Z)
• Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
  畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。 SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
  論文  参考訳（メタデータ） (2022-03-16T20:10:41Z)
• Real-Time Super-Resolution System of 4K-Video Based on Deep Learning [6.182364004551161]
  ビデオレゾリューション(VSR)技術は低品質のビデオ計算において優れており、職業ベースのアルゴリズムによって生じる不快なブラー効果を回避している。 本稿では、リアルタイムVSシステムの可能性について検討し、EGVSRと呼ばれる効率的な汎用VSRネットワークを設計する。 現在最も先進的なVSRネットワークであるTecoGANと比較して、密度の84%削減と7.92倍の性能向上を実現している。
  論文  参考訳（メタデータ） (2021-07-12T10:35:05Z)
• Video Rescaling Networks with Joint Optimization Strategies for Downscaling and Upscaling [15.630742638440998]
  結合層を持つ可逆ニューラルネットワークに基づく2つの共同最適化手法を提案する。 我々のLong Short-Term Memory Video Rescaling Network (LSTM-VRN)は、低解像度ビデオの時間情報を利用して、アップスケーリングに欠落する高周波情報の明示的な予測を形成する。 当社のマルチインプットマルチアウトプットビデオリスケーリングネットワーク(MIMO-VRN)は、ビデオフレームのグループを同時にダウンスケーリングおよびアップスケーリングするための新しい戦略を提案します。
  論文  参考訳（メタデータ） (2021-03-27T09:35:38Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Deep Space-Time Video Upsampling Networks [47.62807427163614]
  ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。 本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。 その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
  論文  参考訳（メタデータ） (2020-04-06T07:04:21Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)
• Video Face Super-Resolution with Motion-Adaptive Feedback Cell [90.73821618795512]
  深部畳み込みニューラルネットワーク(CNN)の発展により,ビデオ超解像法(VSR)は近年,顕著な成功を収めている。 本稿では,動作補償を効率的に捕捉し,適応的にネットワークにフィードバックする,シンプルで効果的なブロックである動き適応型フィードバックセル(MAFC)を提案する。
  論文  参考訳（メタデータ） (2020-02-15T13:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。