論文の概要: UAR-NVC: A Unified AutoRegressive Framework for Memory-Efficient Neural Video Compression

• arxiv url: http://arxiv.org/abs/2503.02733v1
• Date: Tue, 04 Mar 2025 15:54:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:23:54.484336
• Title: UAR-NVC: A Unified AutoRegressive Framework for Memory-Efficient Neural Video Compression
• Title（参考訳）: UAR-NVC: メモリ効率の良いニューラルビデオ圧縮のための統一された自動回帰フレームワーク
• Authors: Jia Wang, Xinfeng Zhang, Gai Zhang, Jun Zhu, Lv Tang, Li Zhang,
• Abstract要約: Inlicit Neural Representation (INRs)は、ビデオをニューラルネットワークとして表現することで、ビデオ圧縮において大きな可能性を証明している。 本稿では、自己回帰(AR)の観点からのINRモデルの新たな理解と、メモリ効率の高いニューラルビデオ圧縮(UAR-NVC)のための統一自己回帰フレームワークを提案する。 UAR-NVCは、タイムラインベースとINRベースのニューラルビデオ圧縮を統合自己回帰パラダイムの下で統合する。
• 参考スコア（独自算出の注目度）: 29.174318150967405
• License:
• Abstract: Implicit Neural Representations (INRs) have demonstrated significant potential in video compression by representing videos as neural networks. However, as the number of frames increases, the memory consumption for training and inference increases substantially, posing challenges in resource-constrained scenarios. Inspired by the success of traditional video compression frameworks, which process video frame by frame and can efficiently compress long videos, we adopt this modeling strategy for INRs to decrease memory consumption, while aiming to unify the frameworks from the perspective of timeline-based autoregressive modeling. In this work, we present a novel understanding of INR models from an autoregressive (AR) perspective and introduce a Unified AutoRegressive Framework for memory-efficient Neural Video Compression (UAR-NVC). UAR-NVC integrates timeline-based and INR-based neural video compression under a unified autoregressive paradigm. It partitions videos into several clips and processes each clip using a different INR model instance, leveraging the advantages of both compression frameworks while allowing seamless adaptation to either in form. To further reduce temporal redundancy between clips, we design two modules to optimize the initialization, training, and compression of these model parameters. UAR-NVC supports adjustable latencies by varying the clip length. Extensive experimental results demonstrate that UAR-NVC, with its flexible video clip setting, can adapt to resource-constrained environments and significantly improve performance compared to different baseline models.
• Abstract（参考訳）: Inlicit Neural Representation (INRs)は、ビデオをニューラルネットワークとして表現することで、ビデオ圧縮において大きな可能性を証明している。 しかし、フレーム数が増加するにつれて、トレーニングと推論のためのメモリ消費が大幅に増加し、リソース制約シナリオにおける課題が浮かび上がっている。 フレーム単位で動画フレームを処理し,長時間の動画を効率よく圧縮できる従来のビデオ圧縮フレームワークの成功に触発されて,INRのモデリング戦略を採用し,時間軸に基づく自己回帰モデリングの観点からフレームワークを統合することを目指す。 本稿では,自己回帰(AR)の観点からのINRモデルの新たな理解と,メモリ効率の高いニューラルビデオ圧縮(UAR-NVC)のための統一自己回帰フレームワークを提案する。 UAR-NVCは、タイムラインベースとINRベースのニューラルビデオ圧縮を統合自己回帰パラダイムの下で統合する。 動画を複数のクリップに分割し、異なるINRモデルインスタンスを使用して各クリップを処理する。 クリップ間の時間的冗長性をさらに低減するため、これらのモデルパラメータの初期化、訓練、圧縮を最適化する2つのモジュールを設計する。 UAR-NVCは、クリップの長さを変えて調整可能なレイテンシをサポートする。 UAR-NVCは、フレキシブルなビデオクリップ設定により、資源制約のある環境に適応でき、異なるベースラインモデルと比較して性能が大幅に向上することを示した。

関連論文リスト

• CANeRV: Content Adaptive Neural Representation for Video Compression [89.35616046528624]
  映像圧縮のためのコンテンツ適応型ニューラル表現法(CANeRV)を提案する。 CANeRVは革新的なINRベースのビデオ圧縮ネットワークであり、各ビデオシーケンスの特定の内容に基づいて、構造最適化を適応的に行う。 CNeRVはH.266/VVCと最先端のINRベースの動画圧縮技術の両方を多種多様なビデオデータセットで上回り得ることを示す。
  論文  参考訳（メタデータ） (2025-02-10T06:21:16Z)
• Autoregressive Video Generation without Vector Quantization [90.87907377618747]
  本研究では,時間フレーム毎の予測の非量子化自己回帰モデルとしてビデオ生成問題を再構成する。 提案手法では,ベクトル量子化のない新しい自己回帰モデルであるNOVAを訓練する。 以上の結果から,NOVAはデータ効率,推論速度,視覚的忠実度,映像流速において,従来の自己回帰ビデオモデルよりもはるかに小さいモデルキャパシティを有することがわかった。
  論文  参考訳（メタデータ） (2024-12-18T18:59:53Z)
• VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression [59.14355576912495]
  NeRFベースのビデオは、FVV(Photorealistic Free-Viewpoint Video)体験を提供することによって、ビジュアルメディアに革命をもたらした。 大量のデータボリュームは、ストレージと送信に重大な課題をもたらす。 ビデオ圧縮のための新しいエンドツーエンドの可変レートフレームワークであるVRVVCを提案する。
  論文  参考訳（メタデータ） (2024-12-16T01:28:04Z)
• Releasing the Parameter Latency of Neural Representation for High-Efficiency Video Compression [18.769136361963472]
  暗黙的ニューラル表現(INR)技術は、ビデオ全体を基本単位としてモデル化し、フレーム内およびフレーム間の相関を自動的にキャプチャする。 本稿では,INRビデオ圧縮の速度歪み特性を大幅に向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T15:19:31Z)
• NVRC: Neural Video Representation Compression [13.131842990481038]
  我々は、新しいINRベースのビデオ圧縮フレームワーク、Neural Video Representation Compression (NVRC)を提案する。 NVRCは初めて、INRベースのビデオをエンドツーエンドで最適化することができる。 実験の結果,NVRCは従来のベンチマークエントロピーよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-11T16:57:12Z)
• Scene Matters: Model-based Deep Video Compression [13.329074811293292]
  本稿では,シーンを映像シーケンスの基本単位とみなすモデルベースビデオ圧縮(MVC)フレームワークを提案する。 提案したMVCは,1シーンでビデオシーケンス全体の新しい強度変化を直接モデル化し,冗長性を低減せず,非冗長表現を求める。 提案手法は,最新のビデオ標準H.266に比べて最大20%の削減を実現し,既存のビデオ符号化方式よりもデコーディングの効率がよい。
  論文  参考訳（メタデータ） (2023-03-08T13:15:19Z)
• Recurrent Video Restoration Transformer with Guided Deformable Attention [116.1684355529431]
  本稿では,グローバルなリカレントフレームワーク内で,隣接するフレームを並列に処理するRVRTを提案する。 RVRTは、バランスの取れたモデルサイズ、メモリとランタイムをテストするベンチマークデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-05T10:36:09Z)
• Slimmable Video Codec [24.460763016660685]
  本稿では,スリム化可能なオートエンコーダに,スリム化可能な時間エントロピーモデルを統合することで,スリム化可能なビデオ(SlimVC)を提案する。 より複雑なアーキテクチャにもかかわらず、スリム化はレート、メモリフットプリント、計算コスト、レイテンシを制御するための強力なメカニズムのままである。
  論文  参考訳（メタデータ） (2022-05-13T16:37:27Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)
• Learning for Video Compression with Recurrent Auto-Encoder and Recurrent Probability Model [164.7489982837475]
  本稿では、リカレントオートエンコーダ(RAE)とリカレント確率モデル(RPM)を用いたリカレントラーニングビデオ圧縮(RLVC)手法を提案する。 RAEは、ビデオフレーム間の時間的相関を利用するために、エンコーダとデコーダの両方で繰り返しセルを使用する。 提案手法は,PSNRとMS-SSIMの両方の観点から,最先端の学習ビデオ圧縮性能を実現する。
  論文  参考訳（メタデータ） (2020-06-24T08:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。