論文の概要: Towards Practical 20 kbps Generative Video Compression via Adaptive Tokenization and Entropy Modeling
- arxiv url: http://arxiv.org/abs/2611.08099v1
- Date: Thu, 05 Nov 2026 14:42:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.544472
- Title: Towards Practical 20 kbps Generative Video Compression via Adaptive Tokenization and Entropy Modeling
- Title(参考訳): 適応的トークン化とエントロピーモデリングによる20kbpsの映像圧縮の実現に向けて
- Abstract要約: 超低速度でのビデオ圧縮は、限られたビット予算の下で知覚上重要な詳細が失われているため、依然として困難である。
最近の生成ビデオ圧縮法は、事前訓練されたビデオの事前利用を利用して、知覚品質と時間的コヒーレンスを改善する。
本稿では,事前学習した映像表現を圧縮指向の表現に適応させ,再現性を保ちながら再現する手法を提案する。
- 参考スコア(独自算出の注目度): 49.98032320855875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video compression at ultra-low bitrates remains challenging due to the loss of perceptually important details under limited bit budgets. Recent generative video compression methods leverage pretrained video priors to improve perceptual quality and temporal coherence, but many follow a compress-then-generate paradigm, where generative priors are primarily exploited during reconstruction. Moreover, representations learned for generation and reconstruction are not inherently optimized for entropy coding. In this work, we propose \method, which adapts pretrained video representations into compression-oriented representations while preserving their reconstruction capability. Specifically, we adapt the pretrained causal video VAE of MiniMax-H3 into a discrete video tokenizer and develop a small autoregressive entropy model that captures local and global token dependencies, with grouped prediction for parallel decoding. To further improve coding efficiency, we jointly optimize the tokenizer and entropy model using a differentiable rate surrogate, allowing rate gradients to adapt token assignments toward lower coding costs while preserving reconstruction quality. Experiments on UVG, MCL-JCV, and HEVC Class B demonstrate superior perceptual rate--distortion performance, achieving BD-LPIPS savings of 82.2\%--87.5\% and BD-DISTS savings of 78.3\%--85.0\% relative to GLC-Video.
- Abstract(参考訳): 超低ビットレートでのビデオ圧縮は、限られたビット予算の下で知覚上重要な詳細が失われるため、依然として困難である。
近年の再生ビデオ圧縮法では、事前学習したビデオの先行処理を利用して知覚品質と時間的コヒーレンスを向上させるが、多くは圧縮列生成のパラダイムに従っており、再生前の処理は主に再構成時に利用される。
さらに、生成と再構成のために学んだ表現は本質的にエントロピー符号化に最適化されていない。
本研究では,プレトレーニング済みの映像表現を圧縮指向の表現に適応させ,再現性を保ちながら表現する手法を提案する。
具体的には,MiniMax-H3の事前学習した因果ビデオVAEを離散的なビデオトークン化器に適応させ,局所的およびグローバルなトークン依存をキャプチャする小さな自己回帰エントロピーモデルを構築し,並列デコーディングの予測を行う。
符号化効率をさらに向上するため, 可変レートサロゲートを用いたトークン化モデルとエントロピーモデルを共同で最適化し, レート勾配を低い符号化コストに適応させ, 再構成品質を維持した。
UVG、MCL-JCV、HEVCクラスBの実験では、GLC-Videoと比較して、BD-LPIPS の82.2\%--87.5\%、BD-DISTS の78.3\%--85.0\%の節約を達成した。
関連論文リスト
- High-Fidelity Video Compression based on Invertible Neural Transform and Implicit Conditioning [9.466904732249127]
InnVCは、広帯域かつ高忠実な圧縮のための、インバータブルニューラルネットワークベースのビデオコーデックである。
私たちの知る限りでは、InnVCは単一のアーキテクチャスケールで、低い忠実度から高い忠実度までのポインを操作する最初のニューラルビデオです。
論文 参考訳(メタデータ) (2026-06-11T22:37:11Z) - ProGVC: Progressive-based Generative Video Compression via Auto-Regressive Context Modeling [10.843021248963305]
本稿では,プログレッシブ・トランスミッション,効率的なエントロピー・コーディング,ディテール・シンセサイザーを統一したプログレッシブ・ベース・ジェネレーティブ・ビデオ圧縮フレームワークを提案する。
ProGVCは、ビデオを階層的なマルチスケールの残留トークンマップにエンコードし、粗いサブセットをプログレッシブな方法で送信することで、フレキシブルなレート適応を可能にする。
論文 参考訳(メタデータ) (2026-03-18T09:51:39Z) - Rethinking Video Tokenization: A Conditioned Diffusion-based Approach [58.164354605550194]
新しいトークン化ツールであるDiffusion Conditioned-based Gene Tokenizerは、GANベースのデコーダを条件付き拡散モデルで置き換える。
再建に基本的MSE拡散損失とKL項,LPIPSを併用した訓練を行った。
CDTのスケールダウン版(3$times inference speedup)でさえ、トップベースラインと互換性がある。
論文 参考訳(メタデータ) (2025-03-05T17:59:19Z) - High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。
階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。
トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文 参考訳(メタデータ) (2024-10-03T15:40:58Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳(メタデータ) (2024-05-10T09:18:17Z) - Instance-Adaptive Video Compression: Improving Neural Codecs by Training
on the Test Set [14.89208053104896]
本稿では,インスタンス適応学習に基づくビデオ圧縮アルゴリズムを提案する。
送信される各ビデオシーケンスに対して、事前訓練された圧縮モデルを微調整する。
ネットワークサイズを70%削減しても,競争性能が向上することを示す。
論文 参考訳(メタデータ) (2021-11-19T16:25:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。