論文の概要: Video Rescaling Networks with Joint Optimization Strategies for Downscaling and Upscaling

• arxiv url: http://arxiv.org/abs/2103.14858v1
• Date: Sat, 27 Mar 2021 09:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 12:52:21.487606
• Title: Video Rescaling Networks with Joint Optimization Strategies for Downscaling and Upscaling
• Title（参考訳）: ダウンスケーリングとアップスケーリングのための協調最適化戦略を用いたビデオリスケーリングネットワーク
• Authors: Yan-Cheng Huang, Yi-Hsin Chen, Cheng-You Lu, Hui-Po Wang, Wen-Hsiao Peng and Ching-Chun Huang
• Abstract要約: 結合層を持つ可逆ニューラルネットワークに基づく2つの共同最適化手法を提案する。 我々のLong Short-Term Memory Video Rescaling Network (LSTM-VRN)は、低解像度ビデオの時間情報を利用して、アップスケーリングに欠落する高周波情報の明示的な予測を形成する。 当社のマルチインプットマルチアウトプットビデオリスケーリングネットワーク(MIMO-VRN)は、ビデオフレームのグループを同時にダウンスケーリングおよびアップスケーリングするための新しい戦略を提案します。
• 参考スコア（独自算出の注目度）: 15.630742638440998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the video rescaling task, which arises from the needs of adapting the video spatial resolution to suit individual viewing devices. We aim to jointly optimize video downscaling and upscaling as a combined task. Most recent studies focus on image-based solutions, which do not consider temporal information. We present two joint optimization approaches based on invertible neural networks with coupling layers. Our Long Short-Term Memory Video Rescaling Network (LSTM-VRN) leverages temporal information in the low-resolution video to form an explicit prediction of the missing high-frequency information for upscaling. Our Multi-input Multi-output Video Rescaling Network (MIMO-VRN) proposes a new strategy for downscaling and upscaling a group of video frames simultaneously. Not only do they outperform the image-based invertible model in terms of quantitative and qualitative results, but also show much improved upscaling quality than the video rescaling methods without joint optimization. To our best knowledge, this work is the first attempt at the joint optimization of video downscaling and upscaling.
• Abstract（参考訳）: 本稿では,映像空間解像度を個々の視聴装置に適合させる必要性から生じる映像再スケーリングタスクについて述べる。 我々は,共同作業としてビデオダウンスケーリングとアップスケーリングを共同で最適化することを目指している。 最近の研究では、時間的情報を考慮しないイメージベースのソリューションに焦点が当てられている。 結合層を持つ可逆ニューラルネットワークに基づく2つの共同最適化手法を提案する。 我々のLong Short-Term Memory Video Rescaling Network (LSTM-VRN)は、低解像度ビデオの時間情報を利用して、アップスケーリングに欠落する高周波情報の明示的な予測を形成する。 マルチインプットマルチ出力ビデオリスケーリングネットワーク(mimo-vrn)は,ビデオフレーム群を同時にダウンスケールし,スケールアップするための新しい戦略を提案する。 定量的・定性的な結果の面では,画像ベースインバータブルモデルに勝るだけでなく,共同最適化を伴わないビデオリスケーリング法よりも優れたスケールアップ品質を示す。 我々の知る限り、この研究はビデオのダウンスケーリングとアップスケーリングを共同で最適化する最初の試みである。

関連論文リスト

• Differentiable Resolution Compression and Alignment for Efficient Video Classification and Retrieval [16.497758750494537]
  本稿では,高解像度圧縮・アライメント機構を備えた効率的な映像表現ネットワークを提案する。 我々は、相性および非相性フレーム特徴を符号化するために、微分可能なコンテキスト対応圧縮モジュールを利用する。 我々は,異なる解像度のフレーム特徴間のグローバル時間相関を捉えるために,新しい解像度変換器層を導入する。
  論文  参考訳（メタデータ） (2023-09-15T05:31:53Z)
• Deep Unsupervised Key Frame Extraction for Efficient Video Classification [63.25852915237032]
  本研究は、畳み込みニューラルネットワーク(CNN)と時間セグメント密度ピーククラスタリング(TSDPC)を組み合わせたキーフレームの検索方法を提案する。 提案した TSDPC は汎用的で強力なフレームワークであり,従来の研究に比べて2つの利点がある。 さらに、CNNの上部にLong Short-Term Memory Network (LSTM)を追加し、分類性能をさらに高める。
  論文  参考訳（メタデータ） (2022-11-12T20:45:35Z)
• STRPM: A Spatiotemporal Residual Predictive Model for High-Resolution Video Prediction [78.129039340528]
  本稿では,高解像度映像予測のための時間残差予測モデル(STRPM)を提案する。 STRPMは、既存の様々な方法と比較して、より満足な結果を得ることができる。 実験の結果, STRPMは既存手法と比較して良好な結果が得られた。
  論文  参考訳（メタデータ） (2022-03-30T06:24:00Z)
• An Efficient Network Design for Face Video Super-resolution [3.950210498382569]
  ネットワークトレーニングと評価のための顔映像シーケンスからなるデータセットを構築した。 我々は3つの組み合わせ戦略を用いて、最適化プロセスの高速化のために、同時列車評価法を用いて、ネットワークパラメーターを最適化する。 生成されたネットワークは、少なくとも52.4%のパラメータと20.7%のFLOPを削減し、PSNR、SSIMの性能を向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:28:34Z)
• Self-Conditioned Probabilistic Learning of Video Rescaling [70.10092286301997]
  本稿では,ビデオ再スケーリングのための自己条件付き確率的フレームワークを提案し,ペアダウンスケーリングとアップスケーリングの手順を同時に学習する。 我々は、その条件付き確率を強い時空間事前情報に基づいて最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減少させる。 我々は、このフレームワークを、非微分産業損失コーデックの勾配推定器として提案する、損失のあるビデオ圧縮システムに拡張する。
  論文  参考訳（メタデータ） (2021-07-24T15:57:15Z)
• An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement [132.60976158877608]
  対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。 特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。 提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
  論文  参考訳（メタデータ） (2020-12-24T00:03:29Z)
• Enhanced Quadratic Video Interpolation [56.54662568085176]
  より複雑なシーンや動きパターンを扱うために,拡張された2次ビデオ(EQVI)モデルを提案する。 さらなる性能向上のために,学習可能な拡張プロセスと見なせる新しいマルチスケール核融合ネットワーク(MS-Fusion)を考案した。 提案されたEQVIモデルは、AIM 2020 Video Temporal Super-Resolution Challengeで優勝した。
  論文  参考訳（メタデータ） (2020-09-10T02:31:50Z)
• Deep Space-Time Video Upsampling Networks [47.62807427163614]
  ビデオ超解像(VSR)とフレーム(FI)は伝統的なコンピュータビジョンの問題である。 本稿では, VSR と FI を効率よく融合して, 時空ビデオアップサンプリングを行うためのエンドツーエンドフレームワークを提案する。 その結果, 時間(x7速)とパラメータ数(30%)を基準線と比較し, 定量的, 質的にも良好な結果が得られた。
  論文  参考訳（メタデータ） (2020-04-06T07:04:21Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。