論文の概要: Pleno-Generation: A Scalable Generative Face Video Compression Framework with Bandwidth Intelligence
- arxiv url: http://arxiv.org/abs/2502.17085v1
- Date: Mon, 24 Feb 2025 12:03:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-25 15:52:34.267542
- Title: Pleno-Generation: A Scalable Generative Face Video Compression Framework with Bandwidth Intelligence
- Title（参考訳）: Pleno-Generation:バンド幅インテリジェンスを備えたスケーラブルな生成顔ビデオ圧縮フレームワーク
- Authors: Bolin Chen, Hanwei Zhu, Shanzhi Yin, Lingyu Zhu, Jie Chen, Ru-Ling Liao, Shiqi Wang, Yan Ye,
- Abstract要約: Pleno-Generation(PGen)フレームワークは、コンパクトなビットストリームを追求するよりも、高忠実度再構築を優先する。
提案したフレームワークは、アプリケーションのコーディングにより大きな柔軟性を提供できることを示す。
最新のVersatile Video Coding (VVC) と比較して,提案手法は競合するBjontegaard-delta-rateの削減を実現する。
- 参考スコア（独自算出の注目度）: 19.137109044483545
- License:
- Abstract: Generative model based compact video compression is typically operated within a relative narrow range of bitrates, and often with an emphasis on ultra-low rate applications. There has been an increasing consensus in the video communication industry that full bitrate coverage should be enabled by generative coding. However, this is an extremely difficult task, largely because generation and compression, although related, have distinct goals and trade-offs. The proposed Pleno-Generation (PGen) framework distinguishes itself through its exceptional capabilities in ensuring the robustness of video coding by utilizing a wider range of bandwidth for generation via bandwidth intelligence. In particular, we initiate our research of PGen with face video coding, and PGen offers a paradigm shift that prioritizes high-fidelity reconstruction over pursuing compact bitstream. The novel PGen framework leverages scalable representation and layered reconstruction for Generative Face Video Compression (GFVC), in an attempt to imbue the bitstream with intelligence in different granularity. Experimental results illustrate that the proposed PGen framework can facilitate existing GFVC algorithms to better deliver high-fidelity and faithful face videos. In addition, the proposed framework can allow a greater space of flexibility for coding applications and show superior RD performance with a much wider bitrate range in terms of various quality evaluations. Moreover, in comparison with the latest Versatile Video Coding (VVC) codec, the proposed scheme achieves competitive Bj{\o}ntegaard-delta-rate savings for perceptual-level evaluations.
- Abstract（参考訳）: 生成モデルに基づくコンパクトビデオ圧縮は通常、比較的狭いビットレートの範囲内で動作し、しばしば超低レートの応用に重点を置いている。
ビデオ通信業界では、生成的コーディングによって完全なビットレートカバレッジを実現するべきだというコンセンサスが増えている。
しかし、これは非常に難しいタスクであり、主に生成と圧縮が関連するが、異なる目標とトレードオフを持っているためである。
提案するPleno-Generation (PGen) フレームワークは、帯域幅インテリジェンスによる生成のために幅広い帯域幅を活用することにより、ビデオ符号化の堅牢性を確保するという、例外的な能力を通じて、自らを区別する。
特に、顔ビデオ符号化によるPGenの研究を開始し、PGenは、コンパクトなビットストリームを追求するよりも、高忠実度再構成を優先するパラダイムシフトを提供する。
新たなPGenフレームワークは、異なる粒度のインテリジェンスでビットストリームを埋め込むために、GFVC(Generative Face Video Compression)のためのスケーラブルな表現と階層化された再構築を活用している。
実験結果から,提案するPGenフレームワークは既存のGFVCアルゴリズムにより,高忠実で忠実な顔映像の配信を促進できることが示唆された。
さらに、提案フレームワークは、アプリケーションにより大きな柔軟性を持たせることができ、様々な品質評価の観点からより広いビットレート範囲で優れたRD性能を示すことができる。
さらに,最新のVersatile Video Coding (VVC)コーデックと比較して,提案方式は知覚レベル評価のための競合的Bj{\o}ntegaard-delta-rate保存を実現する。
関連論文リスト
- Beyond GFVC: A Progressive Face Video Compression Framework with Adaptive Visual Tokens [28.03183316628635]
本稿では、適応的な視覚トークンを用いて、再構成と帯域幅のインテリジェンス間の例外的なトレードオフを実現する、新しいプログレッシブ・フェイス・ビデオ圧縮フレームワークであるPFVCを提案する。
実験により,提案したPFVCフレームワークは,最新のVersatile Video Coding (VVC) や最新技術であるGenerative Face Video Compression (GFVC) アルゴリズムと比較して,符号化の柔軟性と速度歪み性能に優れることを示した。
論文 参考訳（メタデータ） (2024-10-11T03:24:21Z) - High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳（メタデータ） (2024-10-03T15:40:58Z) - When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。
復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。
TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
論文 参考訳（メタデータ） (2024-08-15T11:36:18Z) - Once-for-All: Controllable Generative Image Compression with Dynamic Granularity Adaption [52.82508784748278]
本稿では,制御生成画像圧縮フレームワークである制御-GICを提案する。
制御-GICは、高忠実度と一般性圧縮を確保しつつ、広帯域での微粒化適応を可能にする。
符号化符号に従って歴史的多粒度表現を検索できる条件デコーダを開発し、条件付き確率の形式化において階層的特徴を再構築する。
論文 参考訳（メタデータ） (2024-06-02T14:22:09Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。
本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-28T08:32:19Z) - Implicit-explicit Integrated Representations for Multi-view Video
Compression [40.86402535896703]
マルチビュービデオ圧縮のための暗黙的・明示的統合表現を提案する。
提案するフレームワークは,暗黙的なニューラル表現と明示的な2Dデータセットの長所を組み合わせたものだ。
提案するフレームワークは,最新のマルチビュービデオ圧縮標準MIVに匹敵する,あるいはさらに優れた性能を実現することができる。
論文 参考訳（メタデータ） (2023-11-29T04:15:57Z) - CANF-VC: Conditional Augmented Normalizing Flows for Video Compression [81.41594331948843]
CANF-VCは、エンドツーエンドの学習ベースのビデオ圧縮システムである。
条件付き拡張正規化フロー(ANF)に基づく。
論文 参考訳（メタデータ） (2022-07-12T04:53:24Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z) - Variable Rate Video Compression using a Hybrid Recurrent Convolutional
Learning Framework [1.9290392443571382]
本稿では,予測自動符号化の概念に基づくハイブリッドビデオ圧縮フレームワークであるPredEncoderを提案する。
可変レートブロック符号化方式が論文で提案され,ビットレート比が著しく向上した。
論文 参考訳（メタデータ） (2020-04-08T20:49:25Z) - Video Coding for Machines: A Paradigm of Collaborative Compression and
Intelligent Analytics [127.65410486227007]
フレーム全体を圧縮、再構成することを目的としたビデオ符号化と、最も重要な情報のみを保存し、送信する特徴圧縮は、スケールの2つの端に立つ。
最近のビデオ圧縮の急激なトレンド、例えばディープラーニングベースのコーディングツールやエンドツーエンドの画像/ビデオコーディング、MPEG-7のコンパクトな特徴記述子標準などの取り組みは、持続的かつ迅速な開発を促進する。
本稿では,新たな領域であるVCM(Video Coding for Machines)の探索を行う。
論文 参考訳（メタデータ） (2020-01-10T17:24:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。