論文の概要: Insights from Generative Modeling for Neural Video Compression
- arxiv url: http://arxiv.org/abs/2107.13136v1
- Date: Wed, 28 Jul 2021 02:19:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-29 14:04:57.975126
- Title: Insights from Generative Modeling for Neural Video Compression
- Title(参考訳): ニューラルビデオ圧縮のための生成モデリングの展望
- Authors: Ruihan Yang, Yibo Yang, Joseph Marino, Stephan Mandt
- Abstract要約: 本稿では,近年のニューラルビデオ符号化アルゴリズムについて,深部自己回帰・潜時可変モデリングのレンズを用いて述べる。
フル解像度ビデオに対して,最先端の映像圧縮性能を実現するアーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 34.37827236468591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While recent machine learning research has revealed connections between deep
generative models such as VAEs and rate-distortion losses used in learned
compression, most of this work has focused on images. In a similar spirit, we
view recently proposed neural video coding algorithms through the lens of deep
autoregressive and latent variable modeling. We present recent neural video
codecs as instances of a generalized stochastic temporal autoregressive
transform, and propose new avenues for further improvements inspired by
normalizing flows and structured priors. We propose several architectures that
yield state-of-the-art video compression performance on full-resolution video
and discuss their tradeoffs and ablations. In particular, we propose (i)
improved temporal autoregressive transforms, (ii) improved entropy models with
structured and temporal dependencies, and (iii) variable bitrate versions of
our algorithms. Since our improvements are compatible with a large class of
existing models, we provide further evidence that the generative modeling
viewpoint can advance the neural video coding field.
- Abstract(参考訳): 最近の機械学習研究は、VAEのような深層生成モデルと学習圧縮で使用される速度歪み損失の関連を明らかにしているが、この研究の大部分は画像に焦点を当てている。
同様に、我々は最近提案されたニューラルビデオ符号化アルゴリズムを、深い自己回帰と潜伏変数モデリングのレンズを通して見る。
本稿では,一般化された確率的時間的自己回帰変換の例として,最近のニューラルビデオコーデックを提案する。
フル解像度ビデオに最先端のビデオ圧縮性能をもたらすいくつかのアーキテクチャを提案し、それらのトレードオフと改善について議論する。
特に, (i) 時間的自己回帰変換の改良, (ii) 構造的および時間的依存性を持つエントロピーモデルの改善, (iii) 可変ビットレートバージョンのアルゴリズムを提案する。
我々の改良は既存のモデルと互換性があるため、生成的モデリングの観点がニューラルビデオ符号化の分野を前進させる証拠となる。
関連論文リスト
- Boosting Neural Representations for Videos with a Conditional Decoder [29.282744018755558]
Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。
本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-28T08:32:19Z) - DiffiT: Diffusion Vision Transformers for Image Generation [94.50195596375316]
Diffusion Vision Transformers (DiffiT) はU字型エンコーダとデコーダを備えたハイブリッド階層アーキテクチャである。
DiffiTは、高忠実度画像を生成するのに驚くほど効果的です。
潜在領域では、DiffiTはImageNet-256データセットで1.73の新しいSOTA FIDスコアを達成している。
論文 参考訳(メタデータ) (2023-12-04T18:57:01Z) - Conditional Generative Modeling for Images, 3D Animations, and Video [4.422441608136163]
コンピュータビジョンのための生成モデリングの分野における革新を推進しようとする論文。
研究は、ノイズと視覚データの変換を提供するアーキテクチャと、生成タスクや3Dコンテンツ操作にエンコーダ・デコーダアーキテクチャを適用することに焦点を当てている。
論文 参考訳(メタデータ) (2023-10-19T21:10:39Z) - Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。
PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
論文 参考訳(メタデータ) (2023-02-15T14:22:34Z) - Neural Data-Dependent Transform for Learned Image Compression [72.86505042102155]
ニューラルデータに依存した変換を構築し,各画像の符号化効率を最適化する連続オンラインモード決定機構を導入する。
実験の結果,提案したニューラルシンタクス設計と連続オンラインモード決定機構の有効性が示された。
論文 参考訳(メタデータ) (2022-03-09T14:56:48Z) - Contextformer: A Transformer with Spatio-Channel Attention for Context
Modeling in Learned Image Compression [5.152019611975467]
本稿では,変換器を用いたコンテキストモデルであるContextformerを提案する。
我々は、現代の圧縮フレームワークのコンテキストモデルをContextformerに置き換え、広く使われているKodakイメージデータセット上でテストする。
実験の結果,VVCテストモデル (VVC) と比較すると,提案モデルでは最大10%の削減率が得られることがわかった。
論文 参考訳(メタデータ) (2022-03-04T17:29:32Z) - Deep Variational Models for Collaborative Filtering-based Recommender
Systems [63.995130144110156]
ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。
提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。
提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
論文 参考訳(メタデータ) (2021-07-27T08:59:39Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Hierarchical Autoregressive Modeling for Neural Video Compression [44.1797885347606]
我々は、最近のニューラルビデオ圧縮手法を、一般化された時間的自己回帰変換の例と見なしている。
大規模ビデオデータに対する包括的評価は、最先端のニューラル圧縮法と従来のビデオ圧縮法に比較して、速度歪み性能が向上したことを示している。
論文 参考訳(メタデータ) (2020-10-19T03:01:33Z) - Neural Video Coding using Multiscale Motion Compensation and
Spatiotemporal Context Model [45.46660511313426]
エンド・ツー・エンドのディープ・ニューラル・ビデオ・コーディング・フレームワーク(NVC)を提案する。
フレーム内画素、フレーム間運動、フレーム間補償残差の相関を利用するために、共同空間および時間的事前集約(PA)を備えた可変オートエンコーダ(VAE)を使用する。
NVCは低遅延因果条件で評価され、H.265/HEVC、H.264/AVC、その他の学習ビデオ圧縮法と比較される。
論文 参考訳(メタデータ) (2020-07-09T06:15:17Z) - An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond
Feature and Signal [99.49099501559652]
Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。
我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。
予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
論文 参考訳(メタデータ) (2020-01-09T14:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。