論文の概要: CaDM: Codec-aware Diffusion Modeling for Neural-enhanced Video Streaming
- arxiv url: http://arxiv.org/abs/2211.08428v1
- Date: Tue, 15 Nov 2022 05:14:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 14:36:33.579676
- Title: CaDM: Codec-aware Diffusion Modeling for Neural-enhanced Video Streaming
- Title（参考訳）: CaDM:ニューラルエンハンスビデオストリーミングのためのコーデック対応拡散モデリング
- Authors: Qihua Zhou, Ruibin Li, Song Guo, Yi Liu, Jingcai Guo, Zhenda Xu
- Abstract要約: Codec-Aware Diffusion Modeling (CaDM) はニューラル・エンハンスド・ビデオ・ストリーミング(NVS)のパラダイムである。
第一に、CaDMは解像度とカラービット深度ビデオフレームを同時に低減することによりエンコーダの圧縮効率を向上する。
- 参考スコア（独自算出の注目度）: 15.115975994657514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the dramatic growth of Internet video traffic,
where the video bitstreams are often compressed and delivered in low quality to
fit the streamer's uplink bandwidth. To alleviate the quality degradation, it
comes the rise of Neural-enhanced Video Streaming (NVS), which shows great
prospects to recover low-quality videos by mostly deploying neural
super-resolution (SR) on the media server. Despite its benefit, we reveal that
current mainstream works with SR enhancement have not achieved the desired
rate-distortion trade-off between bitrate saving and quality restoration, due
to: (1) overemphasizing the enhancement on the decoder side while omitting the
co-design of encoder, (2) inherent limited restoration capacity to generate
high-fidelity perceptual details, and (3) optimizing the
compression-and-restoration pipeline from the resolution perspective solely,
without considering color bit-depth. Aiming at overcoming these limitations, we
are the first to conduct the encoder-decoder (i.e., codec) synergy by
leveraging the visual-synthesis genius of diffusion models. Specifically, we
present the Codec-aware Diffusion Modeling (CaDM), a novel NVS paradigm to
significantly reduce streaming delivery bitrate while holding pretty higher
restoration capacity over existing methods. First, CaDM improves the encoder's
compression efficiency by simultaneously reducing resolution and color
bit-depth of video frames. Second, CaDM provides the decoder with perfect
quality enhancement by making the denoising diffusion restoration aware of
encoder's resolution-color conditions. Evaluation on public cloud services with
OpenMMLab benchmarks shows that CaDM significantly saves streaming bitrate by a
nearly 100 times reduction over vanilla H.264 and achieves much better recovery
quality (e.g., FID of 0.61) over state-of-the-art neural-enhancing methods.
- Abstract（参考訳）: 近年、インターネットビデオのトラフィックが劇的に増加しており、ビデオビットストリームはしばしば圧縮され、ストリームのアップリンク帯域に合うように低品質で配信されている。
品質劣化を軽減するために、Neural-enhanced Video Streaming(NVS)が登場し、メディアサーバにニューラル・スーパーレゾリューション(SR)を主に配置することで、低品質のビデオを回復する大きな可能性を示している。
Despite its benefit, we reveal that current mainstream works with SR enhancement have not achieved the desired rate-distortion trade-off between bitrate saving and quality restoration, due to: (1) overemphasizing the enhancement on the decoder side while omitting the co-design of encoder, (2) inherent limited restoration capacity to generate high-fidelity perceptual details, and (3) optimizing the compression-and-restoration pipeline from the resolution perspective solely, without considering color bit-depth.
これらの制限を克服するために、私たちは拡散モデルの視覚合成天才を活用してエンコーダ・デコーダ(コーデック)のシナジーを最初に行う。
具体的には,既存の手法よりもかなり高い復元能力を持ちながら,ストリーミング配信ビットレートを大幅に削減する,新しいnssパラダイムであるcodec-aware diffusion modeling (cadm)を提案する。
第一に、ビデオフレームの解像度とカラービット深度を同時に低減し、エンコーダの圧縮効率を向上する。
第2に、CaDMは、デコーダの分解色条件を意識して拡散復元を行うことにより、デコーダに完全な品質向上を提供する。
OpenMMLabベンチマークによるパブリッククラウドサービスの評価によると、CaDMはバニラH.264に比べてストリーミングビットレートを100倍近く削減し、最先端のニューラルエンハンシング手法よりもはるかに優れたリカバリ品質(FIDは0.61)を達成する。
関連論文リスト
- Standard compliant video coding using low complexity, switchable neural wrappers [8.149130379436759]
標準互換性、高性能、低復号化の複雑さを特徴とする新しいフレームワークを提案する。
私たちは、標準的なビデオをラップして、異なる解像度でビデオをエンコードする、共同最適化されたニューラルプリプロセッサとポストプロセッサのセットを使用します。
我々は、異なるアップサンプリング比を処理できる低複雑性のニューラルポストプロセッサアーキテクチャを設計する。
論文 参考訳（メタデータ） (2024-07-10T06:36:45Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - Binarized Low-light Raw Video Enhancement [49.65466843856074]
ディープニューラルネットワークは、低照度生ビデオの強化において優れたパフォーマンスを実現している。
本稿では,低照度生ビデオエンハンスメントに超コンパクトなバイナリニューラルネットワーク(BNN)を適用する可能性について検討する。
論文 参考訳（メタデータ） (2024-03-29T02:55:07Z) - NU-Class Net: A Novel Approach for Video Quality Enhancement [1.7763979745248648]
本稿では,圧縮コーデックによる圧縮アーチファクトの軽減を目的とした,革新的な深層学習モデルであるNU-Class Netを紹介する。
NU-Class Netを利用することで、ビデオキャプチャノード内のビデオエンコーダは出力品質を低下させ、低ビットレートのビデオを生成することができる。
実験により,低ビットレートでストリーミングされたビデオの知覚品質を高めるためのモデルの有効性が確認された。
論文 参考訳（メタデータ） (2024-01-02T11:46:42Z) - AccDecoder: Accelerated Decoding for Neural-enhanced Video Analytics [26.012783785622073]
低画質のビデオは、品質の悪いカメラや、過度に圧縮/切断されたビデオストリーミングプロトコルのために、既存の監視システムによって収集される。
AccDecoderは、リアルタイムおよびニューラルネットワークベースのビデオ分析のための新しいアクセラレーションデコーダである。
論文 参考訳（メタデータ） (2023-01-20T16:30:44Z) - Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed
Video Quality Enhancement [74.1052624663082]
圧縮ビデオの細部を復元する深層学習アーキテクチャを開発した。
これにより,従来の圧縮補正法と比較して復元精度が向上することを示す。
我々は、ビットストリームで容易に利用できる量子化データに対して、我々のモデルを条件付けする。
論文 参考訳（メタデータ） (2022-01-31T18:56:04Z) - Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG
Encoder-Decoder [73.48927855855219]
本稿では,エンコーダとデコーダの両端に内在するニューラル表現を強化することで,符号化性能の向上を図るシステムを提案する。
実験により,提案手法はJPEGに対する速度歪み性能を,様々な品質指標で改善することを示した。
論文 参考訳（メタデータ） (2022-01-27T20:20:03Z) - Ultra-low bitrate video conferencing using deep image animation [7.263312285502382]
ビデオ会議のための超低速ビデオ圧縮のための新しい深層学習手法を提案する。
我々はディープニューラルネットワークを用いて、動き情報をキーポイント変位として符号化し、デコーダ側で映像信号を再構成する。
論文 参考訳（メタデータ） (2020-12-01T09:06:34Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z) - Learning for Video Compression with Hierarchical Quality and Recurrent
Enhancement [164.7489982837475]
本稿では,階層型ビデオ圧縮(HLVC)手法を提案する。
我々のHLVCアプローチでは、エンコーダ側とデコーダ側の低品質フレームの圧縮と強化を容易にするため、階層的品質は符号化効率の恩恵を受ける。
論文 参考訳（メタデータ） (2020-03-04T09:31:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。