論文の概要: Spatial-Temporal Transformer based Video Compression Framework

• arxiv url: http://arxiv.org/abs/2309.11913v1
• Date: Thu, 21 Sep 2023 09:23:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 16:00:20.240541
• Title: Spatial-Temporal Transformer based Video Compression Framework
• Title（参考訳）: 空間時変圧器に基づくビデオ圧縮フレームワーク
• Authors: Yanbo Gao, Wenjia Huang, Shuai Li, Hui Yuan, Mao Ye, Siwei Ma
• Abstract要約: 本稿では,STT-VC(Spatial-Temporal Transformer based Video Compression)フレームワークを提案する。 動作推定と補償のためのオフセット推定のためのUformerベースのオフセット推定を備えたRelaxed Deformable Transformer (RDT)と、予測改善のためのマルチ参照フレームに基づくMulti-Granularity Prediction (MGP)モジュールと、時間空間的継手残留圧縮を効率的に行うSpatial Feature Distribution prior based Transformer (SFD-T)を含む。 実験の結果,VTMよりも13.5%のBD-Rateを節約できることがわかった。
• 参考スコア（独自算出の注目度）: 44.723459144708286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned video compression (LVC) has witnessed remarkable advancements in recent years. Similar as the traditional video coding, LVC inherits motion estimation/compensation, residual coding and other modules, all of which are implemented with neural networks (NNs). However, within the framework of NNs and its training mechanism using gradient backpropagation, most existing works often struggle to consistently generate stable motion information, which is in the form of geometric features, from the input color features. Moreover, the modules such as the inter-prediction and residual coding are independent from each other, making it inefficient to fully reduce the spatial-temporal redundancy. To address the above problems, in this paper, we propose a novel Spatial-Temporal Transformer based Video Compression (STT-VC) framework. It contains a Relaxed Deformable Transformer (RDT) with Uformer based offsets estimation for motion estimation and compensation, a Multi-Granularity Prediction (MGP) module based on multi-reference frames for prediction refinement, and a Spatial Feature Distribution prior based Transformer (SFD-T) for efficient temporal-spatial joint residual compression. Specifically, RDT is developed to stably estimate the motion information between frames by thoroughly investigating the relationship between the similarity based geometric motion feature extraction and self-attention. MGP is designed to fuse the multi-reference frame information by effectively exploring the coarse-grained prediction feature generated with the coded motion information. SFD-T is to compress the residual information by jointly exploring the spatial feature distributions in both residual and temporal prediction to further reduce the spatial-temporal redundancy. Experimental results demonstrate that our method achieves the best result with 13.5% BD-Rate saving over VTM.
• Abstract（参考訳）: 学習ビデオ圧縮(LVC)は近年顕著な進歩を遂げている。 従来のビデオ符号化と同様に、LVCはモーション推定/補償、残留コーディング、その他のモジュールを継承し、これらはすべてニューラルネットワーク(NN)で実装されている。 しかしながら、NNのフレームワークと勾配のバックプロパゲーションを用いたトレーニング機構では、ほとんどの既存の研究は、入力色の特徴から幾何学的特徴の形で安定した動き情報を生成するのに苦労する。 さらに、相互予測や残留符号化といったモジュールは互いに独立しており、空間的時間的冗長性を完全に低減することは非効率である。 そこで本稿では,本稿で提案する空間時変圧器を用いたビデオ圧縮(stt-vc)フレームワークを提案する。 動作推定と補償のためのオフセット推定のためのUformerベースのオフセット推定を備えたRelaxed Deformable Transformer (RDT)と、予測改善のためのマルチ参照フレームに基づくMulti-Granularity Prediction (MGP)モジュールと、時間空間的継手残留圧縮を効率的に行うSpatial Feature Distribution prior based Transformer (SFD-T)を含む。 具体的には、類似性に基づく幾何運動特徴抽出と自己注意との関係を徹底的に調べ、フレーム間の動き情報を安定して推定する。 MGPは、符号化された動き情報で生成された粗粒度予測機能を効果的に探索することにより、多参照フレーム情報を融合するように設計されている。 SFD-Tは、空間的特徴分布を残差予測と時間的予測の両方で共同で探索することで残差情報を圧縮し、空間的時間的冗長性をさらに低減する。 実験の結果,VTMよりも13.5%のBD-Rateを節約できることがわかった。

関連論文リスト

• U-Motion: Learned Point Cloud Video Compression with U-Structured Motion Estimation [9.528405963599997]
  ポイントクラウドビデオ(PCV)は、多くの新興アプリケーションを持つダイナミックシーンの汎用的な3D表現である。 本稿では,PCV形状と属性の両方を学習ベースで圧縮するU-Motionを提案する。
  論文  参考訳（メタデータ） (2024-11-21T07:17:01Z)
• Collaborative Feedback Discriminative Propagation for Video Super-Resolution [66.61201445650323]
  ビデオ超解像法(VSR)の主な成功は、主に空間情報と時間情報を探索することに由来する。 不正確なアライメントは通常、重要なアーティファクトを備えたアライメント機能につながる。 伝搬モジュールは同じタイムステップ機能のみを前方または後方に伝播する。
  論文  参考訳（メタデータ） (2024-04-06T22:08:20Z)
• Spatial Decomposition and Temporal Fusion based Inter Prediction for Learned Video Compression [59.632286735304156]
  学習ビデオ圧縮のための空間分解と時間融合に基づく相互予測を提案する。 SDDに基づく動きモデルと長時間の時間的融合により,提案した学習ビデオはより正確な相互予測コンテキストを得ることができる。
  論文  参考訳（メタデータ） (2024-01-29T03:30:21Z)
• Multiscale Motion-Aware and Spatial-Temporal-Channel Contextual Coding Network for Learned Video Compression [24.228981098990726]
  動画圧縮ネットワーク(MASTC-VC)を提案する。 提案するMASTC-VCは,3つの公開ベンチマークデータセット上での従来の最先端(SOTA)手法よりも優れている。 提案手法は,PSNRのH.265/HEVC(HM-16.20)に対して平均10.15%のBDレートを,MS-SSIMのH.266/VVC(VTM-13.2)に対して平均23.93%のBDレートを節約する。
  論文  参考訳（メタデータ） (2023-10-19T13:32:38Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• JNMR: Joint Non-linear Motion Regression for Video Frame Interpolation [47.123769305867775]
  ビデオフレーム(VFI)は、双方向の歴史的参照から学習可能な動きを歪曲することでフレームを生成することを目的としている。 我々は、フレーム間の複雑な動きをモデル化するために、VFIをJNMR(Joint Non-linear Motion Regression)戦略として再構成する。 その結果, 関節運動の退行性は, 最先端の方法と比較して有意に向上した。
  論文  参考訳（メタデータ） (2022-06-09T02:47:29Z)
• Self-Supervised Learning of Perceptually Optimized Block Motion Estimates for Video Compression [50.48504867843605]
  多段階畳み込みニューラルネットワークを用いた探索自由ブロック運動推定フレームワークを提案する。 動作補償フレームの知覚品質を最適化するために,マルチスケール構造類似度(MS-SSIM)損失関数をデプロイする。
  論文  参考訳（メタデータ） (2021-10-05T03:38:43Z)
• FVC: A New Framework towards Deep Video Compression in Feature Space [21.410266039564803]
  特徴空間におけるすべての主要な操作(動き推定、動き圧縮、動き補償、残差圧縮)を実行することで特徴空間ビデオ符号化ネットワーク(FVC)を提案する。 提案フレームワークは,HEVC,UVG,VTL,MCL-JCVを含む4つのベンチマークデータセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-20T08:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。