論文の概要: Effortless Cross-Platform Video Codec: A Codebook-Based Method
- arxiv url: http://arxiv.org/abs/2310.10292v1
- Date: Mon, 16 Oct 2023 11:28:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 14:58:36.764953
- Title: Effortless Cross-Platform Video Codec: A Codebook-Based Method
- Title（参考訳）: 無力なクロスプラットフォームビデオコーデック:コードブックベースの方法
- Authors: Kuan Tian and Yonghang Guan and Jinxi Xiang and Jun Zhang and Xiao Han
and Wei Yang
- Abstract要約: ある状況下では、高度なニューラルビデオコーデックは、そのレート歪み(RD)性能において最も複雑な従来のコーデックを超えることができる。
既存のニューラルビデオコーデックの高性能化のおもな理由の1つはエントロピーモデルの利用である。
本稿では,コードブックに基づくクロスプラットフォームビデオ圧縮フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 17.141950680993617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Under certain circumstances, advanced neural video codecs can surpass the
most complex traditional codecs in their rate-distortion (RD) performance. One
of the main reasons for the high performance of existing neural video codecs is
the use of the entropy model, which can provide more accurate probability
distribution estimations for compressing the latents. This also implies the
rigorous requirement that entropy models running on different platforms should
use consistent distribution estimations. However, in cross-platform scenarios,
entropy models running on different platforms usually yield inconsistent
probability distribution estimations due to floating point computation errors
that are platform-dependent, which can cause the decoding side to fail in
correctly decoding the compressed bitstream sent by the encoding side. In this
paper, we propose a cross-platform video compression framework based on
codebooks, which avoids autoregressive entropy modeling and achieves video
compression by transmitting the index sequence of the codebooks. Moreover,
instead of using optical flow for context alignment, we propose to use the
conditional cross-attention module to obtain the context between frames. Due to
the absence of autoregressive modeling and optical flow alignment, we can
design an extremely minimalist framework that can greatly benefit computational
efficiency. Importantly, our framework no longer contains any distribution
estimation modules for entropy modeling, and thus computations across platforms
are not necessarily consistent. Experimental results show that our method can
outperform the traditional H.265 (medium) even without any entropy constraints,
while achieving the cross-platform property intrinsically.
- Abstract（参考訳）: ある状況下では、高度なニューラルビデオコーデックは、そのレート歪み(RD)性能において最も複雑な従来のコーデックを超えることができる。
既存のニューラルビデオコーデックの高性能化の主な理由の1つはエントロピーモデルを使用することで、潜伏者を圧縮するためのより正確な確率分布推定を提供することができる。
これはまた、異なるプラットフォームで動作するエントロピーモデルが一貫した分布推定を使用するべきであるという厳密な要求を意味する。
しかし、クロスプラットフォームのシナリオでは、異なるプラットフォーム上で実行されるエントロピーモデルは通常、プラットフォームに依存した浮動小数点演算誤差による不整合確率分布推定を生じるため、復号側は符号化側から送信された圧縮ビットストリームを正しく復号する際に失敗する可能性がある。
本稿では,自己回帰エントロピーモデリングを回避し,コードブックのインデックスシーケンスを送信することでビデオ圧縮を実現する,コードブックに基づくクロスプラットフォームビデオ圧縮フレームワークを提案する。
さらに,コンテクストアライメントに光フローを使用する代わりに,条件付きクロスアテンションモジュールを用いてフレーム間のコンテキストを取得することを提案する。
自己回帰モデリングと光フローアライメントが欠如しているため、計算効率を大幅に向上させることができる極端に最小限のフレームワークを設計できる。
重要なことに、このフレームワークはエントロピーモデリングのための分散推定モジュールをもはや含まないので、プラットフォーム間の計算は必ずしも一貫性を持っていない。
実験結果から,従来のH.265 (medium) はエントロピー制約を伴わずに性能が向上し,クロスプラットフォーム特性を本質的に達成できることが示唆された。
関連論文リスト
- High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳（メタデータ） (2024-10-03T15:40:58Z) - Towards Real-Time Neural Video Codec for Cross-Platform Application
Using Calibration Information [17.141950680993617]
浮動小数点演算によるクロスプラットフォームの計算誤差は、ビットストリームの不正確な復号につながる可能性がある。
符号化と復号処理の計算複雑性が高いことは、リアルタイムのパフォーマンスを達成する上での課題である。
リアルタイムクロスプラットフォームのニューラルビデオは、コンシューマグレードのGPU上で、他のエンコーディングプラットフォームから720Pビデオのビットストリームを効率的に復号することができる。
論文 参考訳（メタデータ） (2023-09-20T13:01:15Z) - Neighbor Correspondence Matching for Flow-based Video Frame Synthesis [90.14161060260012]
フローベースフレーム合成のための近傍対応マッチング(NCM)アルゴリズムを提案する。
NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立する。
粗いスケールのモジュールは、近隣の対応を利用して大きな動きを捉えるように設計されている。
論文 参考訳（メタデータ） (2022-07-14T09:17:00Z) - Hybrid Spatial-Temporal Entropy Modelling for Neural Video Compression [25.96187914295921]
本稿では,空間的依存と時間的依存の両方を効率的に捉える強力なエントロピーモデルを提案する。
我々のエントロピーモデルでは,最大圧縮比を用いたH266(VTM)と比較して,UVGデータセットの18.2%の節約が可能である。
論文 参考訳（メタデータ） (2022-07-13T00:03:54Z) - Entroformer: A Transformer-based Entropy Model for Learned Image
Compression [17.51693464943102]
本稿では,確率分布推定における長距離依存性を捉えるために,トランスフォーマを用いたエントロピーモデルEntroformerを提案する。
実験の結果,Entroformerは時間効率を保ちながら,画像圧縮の最先端性能を実現することがわかった。
論文 参考訳（メタデータ） (2022-02-11T08:03:31Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z) - Learning for Video Compression with Recurrent Auto-Encoder and Recurrent
Probability Model [164.7489982837475]
本稿では、リカレントオートエンコーダ(RAE)とリカレント確率モデル(RPM)を用いたリカレントラーニングビデオ圧縮(RLVC)手法を提案する。
RAEは、ビデオフレーム間の時間的相関を利用するために、エンコーダとデコーダの両方で繰り返しセルを使用する。
提案手法は,PSNRとMS-SSIMの両方の観点から,最先端の学習ビデオ圧縮性能を実現する。
論文 参考訳（メタデータ） (2020-06-24T08:46:33Z) - Denoising Diffusion Probabilistic Models [91.94962645056896]
拡散確率モデルを用いて高品質な画像合成結果を示す。
本研究は,拡散確率モデルとランゲヴィン力学と整合したデノイングスコアとの新たな接続に基づいて設計した重み付き変分境界のトレーニングにより得られた。
論文 参考訳（メタデータ） (2020-06-19T17:24:44Z) - Learning Context-Based Non-local Entropy Modeling for Image Compression [140.64888994506313]
本稿では,文脈内でのグローバルな類似性を利用して,文脈モデリングのための非局所的操作を提案する。
エントロピーモデルはさらに、結合速度歪み最適化における速度損失として採用されている。
低歪みモデルのトレーニングに変換の幅が不可欠であることを考えると、最終的に変換のU-Netブロックを生成して、管理可能なメモリ消費と時間複雑性で幅を拡大する。
論文 参考訳（メタデータ） (2020-05-10T13:28:18Z) - Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。
そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
論文 参考訳（メタデータ） (2020-02-26T12:24:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。