論文の概要: Learning Spatiotemporal Frequency-Transformer for Compressed Video Super-Resolution

• arxiv url: http://arxiv.org/abs/2208.03012v1
• Date: Fri, 5 Aug 2022 07:02:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:41:58.268568
• Title: Learning Spatiotemporal Frequency-Transformer for Compressed Video Super-Resolution
• Title（参考訳）: 圧縮ビデオ超解像のための時空間周波数変換器の学習
• Authors: Zhongwei Qiu, Huan Yang, Jianlong Fu, Dongmei Fu
• Abstract要約: 圧縮ビデオ超解像(FTVSR)のための新しい周波数変換器を提案する。 まず、ビデオフレームをパッチに分割し、各パッチを周波数帯域を表すDCTスペクトルマップに変換する。 第2に、各周波数帯に時間的注意を加える前に、共同で空間周波数の注意を行う分割された注意が、最高の映像強調品質をもたらすことを明らかにする。
• 参考スコア（独自算出の注目度）: 38.00182505384986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compressed video super-resolution (VSR) aims to restore high-resolution frames from compressed low-resolution counterparts. Most recent VSR approaches often enhance an input frame by borrowing relevant textures from neighboring video frames. Although some progress has been made, there are grand challenges to effectively extract and transfer high-quality textures from compressed videos where most frames are usually highly degraded. In this paper, we propose a novel Frequency-Transformer for compressed video super-resolution (FTVSR) that conducts self-attention over a joint space-time-frequency domain. First, we divide a video frame into patches, and transform each patch into DCT spectral maps in which each channel represents a frequency band. Such a design enables a fine-grained level self-attention on each frequency band, so that real visual texture can be distinguished from artifacts, and further utilized for video frame restoration. Second, we study different self-attention schemes, and discover that a divided attention which conducts a joint space-frequency attention before applying temporal attention on each frequency band, leads to the best video enhancement quality. Experimental results on two widely-used video super-resolution benchmarks show that FTVSR outperforms state-of-the-art approaches on both uncompressed and compressed videos with clear visual margins. Code is available at https://github.com/researchmm/FTVSR.
• Abstract（参考訳）: 圧縮ビデオスーパーレゾリューション(VSR)は、圧縮された低解像度フレームから高解像度フレームを復元することを目的としている。 最近のVSRアプローチは、隣接するビデオフレームから関連するテクスチャを借りることで、入力フレームを強化することが多い。 若干の進展はあるものの、ほとんどのフレームが格段に劣化する圧縮ビデオから高品質なテクスチャを効果的に抽出・転送することは大きな課題である。 本稿では,結合時空間周波数領域上で自己アテンションを行う圧縮ビデオ超解像(ftvsr)のための新しい周波数変換器を提案する。 まず,ビデオフレームをパッチに分割し,各パッチを周波数帯域を表すdctスペクトルマップに変換する。 このような設計により、各周波数帯の細粒度自己着脱が可能となり、実際の視覚的テクスチャとアーティファクトを区別でき、さらにビデオフレームの復元にも利用できる。 第2に、各周波数帯に時間的注意を加える前に、共同で空間周波数の注意を行う分割された注意が、最高の映像強調品質をもたらすことを明らかにする。 広範に使用されている2つのビデオ超解像ベンチマークの実験結果は、ftvsrが未圧縮ビデオと圧縮ビデオの両方で最先端のアプローチを、明確な視野マージンで上回っていることを示している。 コードはhttps://github.com/researchmm/ftvsrで入手できる。

関連論文リスト

• Perceptual Quality Improvement in Videoconferencing using Keyframes-based GAN [28.773037051085318]
  本稿では,ビデオ会議における圧縮アーティファクト削減のための新しいGAN手法を提案する。 まず,圧縮および参照フレームからマルチスケールの特徴を抽出する。 そして、私たちのアーキテクチャは、顔のランドマークに従って、これらの特徴を段階的に組み合わせます。
  論文  参考訳（メタデータ） (2023-11-07T16:38:23Z)
• Predictive Coding For Animation-Based Video Compression [13.161311799049978]
  本稿では,画像アニメーションを予測器として用いる予測符号化手法を提案し,実際の対象フレームに対する残差を符号化する。 実験の結果,HEVCビデオ標準に比べて70%以上,VVCに比べて30%以上,有意な上昇を示した。
  論文  参考訳（メタデータ） (2023-07-09T14:40:54Z)
• SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction [0.0]
  圧縮ビデオのスケールアップのために,スーパーリゾリューションのキャパシティを解析するためのベンチマークを開発した。 我々のデータセットは5つの広く使われている圧縮標準に基づくビデオコーデックを用いていた。 いくつかのSRモデルと圧縮を組み合わせることで、品質を著しく損なうことなく動画を縮小できることがわかった。
  論文  参考訳（メタデータ） (2023-05-08T16:42:55Z)
• Learning Spatiotemporal Frequency-Transformer for Low-Quality Video Super-Resolution [47.5883522564362]
  Video Super-Resolution (VSR)は、高解像度(HR)ビデオを低解像度(LR)ビデオから復元することを目的としている。 既存のVSR技術は通常、近くのフレームから既知の劣化プロセスでテクスチャを抽出することでHRフレームを復元する。 本稿では,空間-時間-周波数領域の組み合わせで自己アテンションを行う低品質ビデオを扱うための新しい周波数変換器(FTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-12-27T16:26:15Z)
• VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution [75.79379734567604]
  ビデオインプリシットニューラル表現(Video Implicit Neural Representation, VideoINR)は任意の空間解像度とフレームレートの映像にデコード可能であることを示す。 本稿では,最新のSTVSR手法を用いて,一般的なアップサンプリングスケールにおいて,ビデオINRが競合性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:45:49Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• VRT: A Video Restoration Transformer [126.79589717404863]
  ビデオ復元(例:ビデオ超解像度)は、高品質のフレームを低品質のフレームから復元することを目的としている。 並列フレーム予測と長距離時間依存性モデリング機能を備えたビデオ再生変換器(VRT)を提案する。
  論文  参考訳（メタデータ） (2022-01-28T17:54:43Z)
• COMISR: Compression-Informed Video Super-Resolution [76.94152284740858]
  ウェブやモバイルデバイスのほとんどのビデオは圧縮され、帯域幅が制限されると圧縮は厳しい。 圧縮によるアーティファクトを導入せずに高解像度コンテンツを復元する圧縮インフォームドビデオ超解像モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-04T01:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。