論文の概要: Uncertainty-Aware Deep Video Compression with Ensembles
- arxiv url: http://arxiv.org/abs/2403.19158v1
- Date: Thu, 28 Mar 2024 05:44:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 17:12:54.328491
- Title: Uncertainty-Aware Deep Video Compression with Ensembles
- Title（参考訳）: アンサンブルによる不確かさを意識したディープビデオ圧縮
- Authors: Wufei Ma, Jiahao Li, Bin Li, Yan Lu,
- Abstract要約: 深層アンサンブルによる予測不確かさを効果的に把握できる不確実性対応ビデオ圧縮モデルを提案する。
我々のモデルは1080pのシーケンスに比べて20%以上効率良くビットを節約できる。
- 参考スコア（独自算出の注目度）: 24.245365441718654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning-based video compression is a challenging task, and many previous state-of-the-art learning-based video codecs use optical flows to exploit the temporal correlation between successive frames and then compress the residual error. Although these two-stage models are end-to-end optimized, the epistemic uncertainty in the motion estimation and the aleatoric uncertainty from the quantization operation lead to errors in the intermediate representations and introduce artifacts in the reconstructed frames. This inherent flaw limits the potential for higher bit rate savings. To address this issue, we propose an uncertainty-aware video compression model that can effectively capture the predictive uncertainty with deep ensembles. Additionally, we introduce an ensemble-aware loss to encourage the diversity among ensemble members and investigate the benefits of incorporating adversarial training in the video compression task. Experimental results on 1080p sequences show that our model can effectively save bits by more than 20% compared to DVC Pro.
- Abstract（参考訳）: ディープラーニングベースのビデオ圧縮は難しい課題であり、従来の最先端の学習ベースのビデオコーデックの多くは、連続するフレーム間の時間的相関を利用して、残差を圧縮するために光フローを使用している。
これらの2段階モデルはエンドツーエンドに最適化されているが、運動推定におけるエピステマティックな不確かさと量子化操作からのアレタリックな不確かさは、中間表現の誤りを招き、再構成されたフレームにアーティファクトを導入する。
この固有の欠陥は、より高いビットレートの節約の可能性を制限する。
この問題に対処するために,深いアンサンブルで予測不確実性を効果的に把握できる不確実性対応ビデオ圧縮モデルを提案する。
さらに,アンサンブル・アウェア・ロスを導入し,アンサンブル・メンバ間の多様性を促進するとともに,映像圧縮作業に対人訓練を取り入れることのメリットを検討する。
1080pでの実験結果から,本モデルはDVC Proと比較して20%以上効率良くビットを節約できることがわかった。
関連論文リスト
- Extreme Video Compression with Pre-trained Diffusion Models [11.898317376595697]
本稿では,デコーダにおける拡散型生成モデルの予測力を活用した,極端な映像圧縮のための新しい手法を提案する。
ビデオ全体が順次エンコードされ、知覚品質の指標を考慮し、視覚的に快く再現される。
その結果、生成モデルを用いて映像データの時間的関係を活用できる可能性が示された。
論文 参考訳（メタデータ） (2024-02-14T04:23:05Z) - Blurry Video Compression: A Trade-off between Visual Enhancement and
Data Compression [65.8148169700705]
既存のビデオ圧縮(VC)手法は主に、ビデオ内の連続フレーム間の空間的および時間的冗長性を減らすことを目的としている。
これまでの研究は、インスタント(既知の)露光時間やシャッタースピードなどの特定の設定で取得されたビデオに対して、顕著な成果を上げてきた。
本研究では,シーン内のカメラ設定やダイナミックスによって,所定の映像がぼやけてしまうという一般的なシナリオにおいて,VCの問題に取り組む。
論文 参考訳（メタデータ） (2023-11-08T02:17:54Z) - Scene Matters: Model-based Deep Video Compression [13.329074811293292]
本稿では,シーンを映像シーケンスの基本単位とみなすモデルベースビデオ圧縮(MVC)フレームワークを提案する。
提案したMVCは,1シーンでビデオシーケンス全体の新しい強度変化を直接モデル化し,冗長性を低減せず,非冗長表現を求める。
提案手法は,最新のビデオ標準H.266に比べて最大20%の削減を実現し,既存のビデオ符号化方式よりもデコーディングの効率がよい。
論文 参考訳（メタデータ） (2023-03-08T13:15:19Z) - Learned Video Compression via Heterogeneous Deformable Compensation
Network [78.72508633457392]
不安定な圧縮性能の問題に対処するために,不均一変形補償戦略(HDCVC)を用いた学習ビデオ圧縮フレームワークを提案する。
より具体的には、提案アルゴリズムは隣接する2つのフレームから特徴を抽出し、コンテンツ近傍の不均一な変形(HetDeform)カーネルオフセットを推定する。
実験結果から,HDCVCは最近の最先端の学習ビデオ圧縮手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-11T02:31:31Z) - Leveraging Bitstream Metadata for Fast, Accurate, Generalized Compressed
Video Quality Enhancement [74.1052624663082]
圧縮ビデオの細部を復元する深層学習アーキテクチャを開発した。
これにより,従来の圧縮補正法と比較して復元精度が向上することを示す。
我々は、ビットストリームで容易に利用できる量子化データに対して、我々のモデルを条件付けする。
論文 参考訳（メタデータ） (2022-01-31T18:56:04Z) - Perceptual Learned Video Compression with Recurrent Conditional GAN [158.0726042755]
本稿では, PVC (Perceptual Learned Video Compression) アプローチを提案する。
PLVCは低ビットレートで映像を知覚品質に圧縮することを学ぶ。
ユーザスタディでは、最新の学習ビデオ圧縮手法と比較して、PLVCの優れた知覚性能をさらに検証している。
論文 参考訳（メタデータ） (2021-09-07T13:36:57Z) - Self-Conditioned Probabilistic Learning of Video Rescaling [70.10092286301997]
本稿では,ビデオ再スケーリングのための自己条件付き確率的フレームワークを提案し,ペアダウンスケーリングとアップスケーリングの手順を同時に学習する。
我々は、その条件付き確率を強い時空間事前情報に基づいて最大化することにより、ダウンスケーリングで失われた情報のエントロピーを減少させる。
我々は、このフレームワークを、非微分産業損失コーデックの勾配推定器として提案する、損失のあるビデオ圧縮システムに拡張する。
論文 参考訳（メタデータ） (2021-07-24T15:57:15Z) - Feedback Recurrent Autoencoder for Video Compression [14.072596106425072]
低レイテンシモードで動作する学習ビデオ圧縮のための新しいネットワークアーキテクチャを提案する。
提案手法は,高分解能UVGデータセット上でのMS-SSIM/レート性能を示す。
論文 参考訳（メタデータ） (2020-04-09T02:58:07Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。