論文の概要: Towards Real-Time Neural Video Codec for Cross-Platform Application
Using Calibration Information
- arxiv url: http://arxiv.org/abs/2309.11276v1
- Date: Wed, 20 Sep 2023 13:01:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 16:11:28.776706
- Title: Towards Real-Time Neural Video Codec for Cross-Platform Application
Using Calibration Information
- Title（参考訳）: 校正情報を用いたクロスプラットフォーム用リアルタイムニューラルビデオコーデックの開発
- Authors: Kuan Tian, Yonghang Guan, Jinxi Xiang, Jun Zhang, Xiao Han, Wei Yang
- Abstract要約: 浮動小数点演算によるクロスプラットフォームの計算誤差は、ビットストリームの不正確な復号につながる可能性がある。
符号化と復号処理の計算複雑性が高いことは、リアルタイムのパフォーマンスを達成する上での課題である。
リアルタイムクロスプラットフォームのニューラルビデオは、コンシューマグレードのGPU上で、他のエンコーディングプラットフォームから720Pビデオのビットストリームを効率的に復号することができる。
- 参考スコア（独自算出の注目度）: 17.141950680993617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The state-of-the-art neural video codecs have outperformed the most
sophisticated traditional codecs in terms of RD performance in certain cases.
However, utilizing them for practical applications is still challenging for two
major reasons. 1) Cross-platform computational errors resulting from floating
point operations can lead to inaccurate decoding of the bitstream. 2) The high
computational complexity of the encoding and decoding process poses a challenge
in achieving real-time performance. In this paper, we propose a real-time
cross-platform neural video codec, which is capable of efficiently decoding of
720P video bitstream from other encoding platforms on a consumer-grade GPU.
First, to solve the problem of inconsistency of codec caused by the uncertainty
of floating point calculations across platforms, we design a calibration
transmitting system to guarantee the consistent quantization of entropy
parameters between the encoding and decoding stages. The parameters that may
have transboundary quantization between encoding and decoding are identified in
the encoding stage, and their coordinates will be delivered by auxiliary
transmitted bitstream. By doing so, these inconsistent parameters can be
processed properly in the decoding stage. Furthermore, to reduce the bitrate of
the auxiliary bitstream, we rectify the distribution of entropy parameters
using a piecewise Gaussian constraint. Second, to match the computational
limitations on the decoding side for real-time video codec, we design a
lightweight model. A series of efficiency techniques enable our model to
achieve 25 FPS decoding speed on NVIDIA RTX 2080 GPU. Experimental results
demonstrate that our model can achieve real-time decoding of 720P videos while
encoding on another platform. Furthermore, the real-time model brings up to a
maximum of 24.2\% BD-rate improvement from the perspective of PSNR with the
anchor H.265.
- Abstract（参考訳）: 最先端のニューラルビデオコーデックは、特定のケースでrdパフォーマンスの点で、最も洗練された従来のコーデックを上回っている。
しかし,2つの大きな理由から,実用的利用は依然として困難である。
1)浮動小数点演算によるクロスプラットフォーム計算誤差は,ビットストリームの不正確な復号につながる可能性がある。
2) 符号化・復号プロセスの高い計算複雑性は, 実時間性能を達成する上で課題となる。
本稿では,720pビデオビットストリームを他のエンコーディングプラットフォームからコンシューマ級gpu上で効率的にデコードできる,リアルタイムのクロスプラットフォームニューラルビデオコーデックを提案する。
まず,プラットフォーム間の浮動小数点計算の不確実性に起因するコーデックの不整合性を解決するために,符号化と復号の段階間のエントロピーパラメータの一貫した量子化を保証するキャリブレーション伝達系を設計する。
エンコーディングとデコードの間にトランスバウンダリー量子化を持つ可能性のあるパラメータは、エンコーディングステージで識別され、それらの座標は補助送信ビットストリームによって配信される。
これにより、これらの不整合パラメータを復号段階で適切に処理することができる。
さらに,補助ビットストリームのビットレートを低減するために,ガウス制約を用いてエントロピーパラメータの分布を補正する。
第二に、リアルタイムビデオコーデックのデコード側の計算制限に合わせるために、軽量なモデルの設計を行う。
一連の効率向上技術により、nvidia rtx 2080 gpu上で25fpsのデコード速度を達成することができる。
実験により、720p映像のリアルタイム復号化を他のプラットフォーム上で実現できることが実証された。
さらに、リアルタイムモデルは、アンカーH.265によるPSNRの観点から、最大24.2\%のBDレートの改善をもたらす。
関連論文リスト
- Local Clustering Decoder: a fast and adaptive hardware decoder for the surface code [0.0]
本稿では,リアルタイムデコードシステムの精度と速度要件を同時に達成するソリューションとしてローカルクラスタリングデコーダを紹介する。
我々のデコーダはFPGA上に実装され、ハードウェア並列性を利用して、最速のキュービットタイプにペースを保ちます。
通常の非適応復号法と比較して4倍少ない物理量子ビットを持つ100万個の誤りのない量子演算を可能にする。
論文 参考訳（メタデータ） (2024-11-15T16:43:59Z) - SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [15.872209884833977]
本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。
SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
論文 参考訳（メタデータ） (2024-10-28T07:13:25Z) - Accelerating Error Correction Code Transformers [56.75773430667148]
本稿では,トランスを用いたデコーダの高速化手法を提案する。
最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
論文 参考訳（メタデータ） (2024-10-08T11:07:55Z) - Standard compliant video coding using low complexity, switchable neural wrappers [8.149130379436759]
標準互換性、高性能、低復号化の複雑さを特徴とする新しいフレームワークを提案する。
私たちは、標準的なビデオをラップして、異なる解像度でビデオをエンコードする、共同最適化されたニューラルプリプロセッサとポストプロセッサのセットを使用します。
我々は、異なるアップサンプリング比を処理できる低複雑性のニューラルポストプロセッサアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-07-10T06:36:45Z) - Effortless Cross-Platform Video Codec: A Codebook-Based Method [17.141950680993617]
ある状況下では、高度なニューラルビデオコーデックは、そのレート歪み(RD)性能において最も複雑な従来のコーデックを超えることができる。
既存のニューラルビデオコーデックの高性能化のおもな理由の1つはエントロピーモデルの利用である。
本稿では,コードブックに基づくクロスプラットフォームビデオ圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-16T11:28:22Z) - Graph Neural Networks for Channel Decoding [71.15576353630667]
低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。
ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。
提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
論文 参考訳（メタデータ） (2022-07-29T15:29:18Z) - Improved decoding of circuit noise and fragile boundaries of tailored
surface codes [61.411482146110984]
高速かつ高精度なデコーダを導入し、幅広い種類の量子誤り訂正符号で使用することができる。
我々のデコーダは、信仰マッチングと信念フィンドと呼ばれ、すべてのノイズ情報を活用し、QECの高精度なデモを解き放つ。
このデコーダは, 標準の正方形曲面符号に対して, 整形曲面符号において, より高いしきい値と低い量子ビットオーバーヘッドをもたらすことがわかった。
論文 参考訳（メタデータ） (2022-03-09T18:48:54Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z) - Video compression with low complexity CNN-based spatial resolution
adaptation [15.431248645312309]
空間分解能適応は、全体的な符号化性能を改善するために、ビデオ圧縮に組み込むことができる。
エンコーダとデコーダ間の複雑性の柔軟な割り当てをサポートする新しいフレームワークが提案されている。
論文 参考訳（メタデータ） (2020-07-29T10:20:36Z) - Learning for Video Compression with Recurrent Auto-Encoder and Recurrent
Probability Model [164.7489982837475]
本稿では、リカレントオートエンコーダ(RAE)とリカレント確率モデル(RPM)を用いたリカレントラーニングビデオ圧縮(RLVC)手法を提案する。
RAEは、ビデオフレーム間の時間的相関を利用するために、エンコーダとデコーダの両方で繰り返しセルを使用する。
提案手法は,PSNRとMS-SSIMの両方の観点から,最先端の学習ビデオ圧縮性能を実現する。
論文 参考訳（メタデータ） (2020-06-24T08:46:33Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。