論文の概要: Insights from Generative Modeling for Neural Video Compression

• arxiv url: http://arxiv.org/abs/2107.13136v2
• Date: Sun, 9 Jul 2023 23:05:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 19:42:03.720196
• Title: Insights from Generative Modeling for Neural Video Compression
• Title（参考訳）: ニューラルビデオ圧縮のための生成モデリングの展望
• Authors: Ruihan Yang, Yibo Yang, Joseph Marino, Stephan Mandt
• Abstract要約: 本稿では,深部自己回帰・潜時可変モデリングのレンズを用いたニューラルビデオ符号化アルゴリズムを提案する。 本稿では,高解像度映像に対して最先端の映像圧縮性能を実現するアーキテクチャを提案する。 さらに、生成的モデリングの観点から、ニューラルビデオ符号化の分野を前進させることができることを示す。
• 参考スコア（独自算出の注目度）: 31.59496634465347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent machine learning research has revealed connections between deep generative models such as VAEs and rate-distortion losses used in learned compression, most of this work has focused on images. In a similar spirit, we view recently proposed neural video coding algorithms through the lens of deep autoregressive and latent variable modeling. We present these codecs as instances of a generalized stochastic temporal autoregressive transform, and propose new avenues for further improvements inspired by normalizing flows and structured priors. We propose several architectures that yield state-of-the-art video compression performance on high-resolution video and discuss their tradeoffs and ablations. In particular, we propose (i) improved temporal autoregressive transforms, (ii) improved entropy models with structured and temporal dependencies, and (iii) variable bitrate versions of our algorithms. Since our improvements are compatible with a large class of existing models, we provide further evidence that the generative modeling viewpoint can advance the neural video coding field.
• Abstract（参考訳）: 最近の機械学習研究は、VAEのような深層生成モデルと学習圧縮で使用される速度歪み損失の関連を明らかにしているが、この研究の大部分は画像に焦点を当てている。 同様に、我々は最近提案されたニューラルビデオ符号化アルゴリズムを、深い自己回帰と潜伏変数モデリングのレンズを通して見る。 我々は、これらのコーデックを一般化された確率的時間的自己回帰変換の例として提示し、流れの正規化と構造的事前化に触発されたさらなる改善のための新しい道を提案する。 本稿では,高精細度ビデオに最先端のビデオ圧縮性能をもたらすいくつかのアーキテクチャを提案し,そのトレードオフと改善について議論する。 特に,提案する (i)時間的自己回帰変換の改善 (ii)構造的・時間的依存によるエントロピーモデルの改善、及び (iii)我々のアルゴリズムの可変ビットレートバージョン。 我々の改良は既存のモデルと互換性があるため、生成的モデリングの観点がニューラルビデオ符号化の分野を前進させる証拠となる。

関連論文リスト

• Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
  我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。 提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
  論文  参考訳（メタデータ） (2024-06-19T04:57:18Z)
• Corner-to-Center Long-range Context Model for Efficient Learned Image Compression [70.0411436929495]
  学習された画像圧縮のフレームワークでは、コンテキストモデルは潜在表現間の依存関係をキャプチャする上で重要な役割を果たす。 本研究では,textbfCorner-to-Center 変換器を用いたコンテキストモデル (C$3$M) を提案する。 また,解析および合成変換における受容場を拡大するために,エンコーダ/デコーダのLong-range Crossing Attention Module (LCAM) を用いる。
  論文  参考訳（メタデータ） (2023-11-29T21:40:28Z)
• Conditional Generative Modeling for Images, 3D Animations, and Video [4.422441608136163]
  コンピュータビジョンのための生成モデリングの分野における革新を推進しようとする論文。 研究は、ノイズと視覚データの変換を提供するアーキテクチャと、生成タスクや3Dコンテンツ操作にエンコーダ・デコーダアーキテクチャを適用することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-10-19T21:10:39Z)
• Video Probabilistic Diffusion Models in Projected Latent Space [75.4253202574722]
  我々は、PVDM(Latent Video diffusion model)と呼ばれる新しいビデオ生成モデルを提案する。 PVDMは低次元の潜伏空間で映像配信を学習し、限られた資源で高解像度映像を効率的に訓練することができる。
  論文  参考訳（メタデータ） (2023-02-15T14:22:34Z)
• Neural Data-Dependent Transform for Learned Image Compression [72.86505042102155]
  ニューラルデータに依存した変換を構築し,各画像の符号化効率を最適化する連続オンラインモード決定機構を導入する。 実験の結果,提案したニューラルシンタクス設計と連続オンラインモード決定機構の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-09T14:56:48Z)
• Contextformer: A Transformer with Spatio-Channel Attention for Context Modeling in Learned Image Compression [5.152019611975467]
  本稿では,変換器を用いたコンテキストモデルであるContextformerを提案する。 我々は、現代の圧縮フレームワークのコンテキストモデルをContextformerに置き換え、広く使われているKodakイメージデータセット上でテストする。 実験の結果,VVCテストモデル (VVC) と比較すると,提案モデルでは最大10%の削減率が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-04T17:29:32Z)
• Deep Variational Models for Collaborative Filtering-based Recommender Systems [63.995130144110156]
  ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。 提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。 提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2021-07-27T08:59:39Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Hierarchical Autoregressive Modeling for Neural Video Compression [44.1797885347606]
  我々は、最近のニューラルビデオ圧縮手法を、一般化された時間的自己回帰変換の例と見なしている。 大規模ビデオデータに対する包括的評価は、最先端のニューラル圧縮法と従来のビデオ圧縮法に比較して、速度歪み性能が向上したことを示している。
  論文  参考訳（メタデータ） (2020-10-19T03:01:33Z)
• Neural Video Coding using Multiscale Motion Compensation and Spatiotemporal Context Model [45.46660511313426]
  エンド・ツー・エンドのディープ・ニューラル・ビデオ・コーディング・フレームワーク(NVC)を提案する。 フレーム内画素、フレーム間運動、フレーム間補償残差の相関を利用するために、共同空間および時間的事前集約(PA)を備えた可変オートエンコーダ(VAE)を使用する。 NVCは低遅延因果条件で評価され、H.265/HEVC、H.264/AVC、その他の学習ビデオ圧縮法と比較される。
  論文  参考訳（メタデータ） (2020-07-09T06:15:17Z)
• An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond Feature and Signal [99.49099501559652]
  Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。 我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。 予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
  論文  参考訳（メタデータ） (2020-01-09T14:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。