論文の概要: Pleno-Generation: A Scalable Generative Face Video Compression Framework with Bandwidth Intelligence
- arxiv url: http://arxiv.org/abs/2502.17085v1
- Date: Mon, 24 Feb 2025 12:03:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 22:36:56.546732
- Title: Pleno-Generation: A Scalable Generative Face Video Compression Framework with Bandwidth Intelligence
- Title（参考訳）: Pleno-Generation:バンド幅インテリジェンスを備えたスケーラブルな生成顔ビデオ圧縮フレームワーク
- Authors: Bolin Chen, Hanwei Zhu, Shanzhi Yin, Lingyu Zhu, Jie Chen, Ru-Ling Liao, Shiqi Wang, Yan Ye,
- Abstract要約: Pleno-Generation(PGen)フレームワークは、コンパクトなビットストリームを追求するよりも、高忠実度再構築を優先する。
提案したフレームワークは、アプリケーションのコーディングにより大きな柔軟性を提供できることを示す。
最新のVersatile Video Coding (VVC) と比較して,提案手法は競合するBjontegaard-delta-rateの削減を実現する。
- 参考スコア（独自算出の注目度）: 19.137109044483545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative model based compact video compression is typically operated within a relative narrow range of bitrates, and often with an emphasis on ultra-low rate applications. There has been an increasing consensus in the video communication industry that full bitrate coverage should be enabled by generative coding. However, this is an extremely difficult task, largely because generation and compression, although related, have distinct goals and trade-offs. The proposed Pleno-Generation (PGen) framework distinguishes itself through its exceptional capabilities in ensuring the robustness of video coding by utilizing a wider range of bandwidth for generation via bandwidth intelligence. In particular, we initiate our research of PGen with face video coding, and PGen offers a paradigm shift that prioritizes high-fidelity reconstruction over pursuing compact bitstream. The novel PGen framework leverages scalable representation and layered reconstruction for Generative Face Video Compression (GFVC), in an attempt to imbue the bitstream with intelligence in different granularity. Experimental results illustrate that the proposed PGen framework can facilitate existing GFVC algorithms to better deliver high-fidelity and faithful face videos. In addition, the proposed framework can allow a greater space of flexibility for coding applications and show superior RD performance with a much wider bitrate range in terms of various quality evaluations. Moreover, in comparison with the latest Versatile Video Coding (VVC) codec, the proposed scheme achieves competitive Bj{\o}ntegaard-delta-rate savings for perceptual-level evaluations.
- Abstract（参考訳）: 生成モデルに基づくコンパクトビデオ圧縮は通常、比較的狭いビットレートの範囲内で動作し、しばしば超低レートの応用に重点を置いている。
ビデオ通信業界では、生成的コーディングによって完全なビットレートカバレッジを実現するべきだというコンセンサスが増えている。
しかし、これは非常に難しいタスクであり、主に生成と圧縮が関連するが、異なる目標とトレードオフを持っているためである。
提案するPleno-Generation (PGen) フレームワークは、帯域幅インテリジェンスによる生成のために幅広い帯域幅を活用することにより、ビデオ符号化の堅牢性を確保するという、例外的な能力を通じて、自らを区別する。
特に、顔ビデオ符号化によるPGenの研究を開始し、PGenは、コンパクトなビットストリームを追求するよりも、高忠実度再構成を優先するパラダイムシフトを提供する。
新たなPGenフレームワークは、異なる粒度のインテリジェンスでビットストリームを埋め込むために、GFVC(Generative Face Video Compression)のためのスケーラブルな表現と階層化された再構築を活用している。
実験結果から,提案するPGenフレームワークは既存のGFVCアルゴリズムにより,高忠実で忠実な顔映像の配信を促進できることが示唆された。
さらに、提案フレームワークは、アプリケーションにより大きな柔軟性を持たせることができ、様々な品質評価の観点からより広いビットレート範囲で優れたRD性能を示すことができる。
さらに,最新のVersatile Video Coding (VVC)コーデックと比較して,提案方式は知覚レベル評価のための競合的Bj{\o}ntegaard-delta-rate保存を実現する。
関連論文リスト
- Plug-and-Play Versatile Compressed Video Enhancement [57.62582951699999]
ビデオ圧縮はファイルのサイズを効果的に削減し、リアルタイムのクラウドコンピューティングを可能にする。
しかし、それは視覚的品質の犠牲となり、下流の視覚モデルの堅牢性に挑戦する。
本稿では,異なる圧縮条件下で動画を適応的に拡張する多言語対応拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-21T18:39:31Z) - REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder [52.698595889988766]
生成モデルのためのビデオ埋め込み学習について,新しい視点を提示する。
入力ビデオの正確な再生を必要とせず、効果的な埋め込みは視覚的に妥当な再構築に焦点を当てるべきである。
本稿では,従来のエンコーダ・デコーダ・ビデオ埋め込みをエンコーダ・ジェネレータ・フレームワークに置き換えることを提案する。
論文 参考訳（メタデータ） (2025-03-11T17:51:07Z) - Standardizing Generative Face Video Compression using Supplemental Enhancement Information [22.00903915523654]
本稿では,補助強調情報(SEI)を用いたGFVC(Generative Face Video Compression)アプローチを提案する。
執筆時点では,SEI メッセージを用いたGFVC アプローチが Versatile Supplemental Enhancement Information (VSEI) 規格の公式作業ドラフトに採用されている。
著者の知識を最大限活用するために、JVETが提案したSEIベースのGFVCアプローチは、生成ビデオ圧縮のための最初の標準化活動である。
論文 参考訳（メタデータ） (2024-10-19T13:37:24Z) - Beyond GFVC: A Progressive Face Video Compression Framework with Adaptive Visual Tokens [28.03183316628635]
本稿では、適応的な視覚トークンを用いて、再構成と帯域幅のインテリジェンス間の例外的なトレードオフを実現する、新しいプログレッシブ・フェイス・ビデオ圧縮フレームワークであるPFVCを提案する。
実験により,提案したPFVCフレームワークは,最新のVersatile Video Coding (VVC) や最新技術であるGenerative Face Video Compression (GFVC) アルゴリズムと比較して,符号化の柔軟性と速度歪み性能に優れることを示した。
論文 参考訳（メタデータ） (2024-10-11T03:24:21Z) - High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳（メタデータ） (2024-10-03T15:40:58Z) - Once-for-All: Controllable Generative Image Compression with Dynamic Granularity Adaption [52.82508784748278]
本稿では,制御生成画像圧縮フレームワークである制御-GICを提案する。
制御-GICは、高忠実度と一般性圧縮を確保しつつ、広帯域での微粒化適応を可能にする。
符号化符号に従って歴史的多粒度表現を検索できる条件デコーダを開発し、条件付き確率の形式化において階層的特徴を再構築する。
論文 参考訳（メタデータ） (2024-06-02T14:22:09Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。
本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-28T08:32:19Z) - CANF-VC: Conditional Augmented Normalizing Flows for Video Compression [81.41594331948843]
CANF-VCは、エンドツーエンドの学習ベースのビデオ圧縮システムである。
条件付き拡張正規化フロー(ANF)に基づく。
論文 参考訳（メタデータ） (2022-07-12T04:53:24Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z) - Variable Rate Video Compression using a Hybrid Recurrent Convolutional
Learning Framework [1.9290392443571382]
本稿では,予測自動符号化の概念に基づくハイブリッドビデオ圧縮フレームワークであるPredEncoderを提案する。
可変レートブロック符号化方式が論文で提案され,ビットレート比が著しく向上した。
論文 参考訳（メタデータ） (2020-04-08T20:49:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。