論文の概要: Towards Practical Real-Time Neural Video Compression

• arxiv url: http://arxiv.org/abs/2502.20762v2
• Date: Tue, 18 Mar 2025 07:39:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:11:34.664855
• Title: Towards Practical Real-Time Neural Video Compression
• Title（参考訳）: 実時間ニューラルビデオ圧縮の実現に向けて
• Authors: Zhaoyang Jia, Bin Li, Jiahao Li, Wenxuan Xie, Linfeng Qi, Houqiang Li, Yan Lu,
• Abstract要約: 我々は,高圧縮比,低レイテンシ,広範汎用性を実現するために設計された実用的リアルタイムニューラルビデオ(NVC)を紹介する。 実験により,提案したDCVC-RTは1080pビデオに対して125.2/112.8フレーム(毎秒125.2/112.8フレーム)の高速符号化を実現し,H.266/VTMと比較して21%のfpsを節約できた。
• 参考スコア（独自算出の注目度）: 60.390180067626396
• License:
• Abstract: We introduce a practical real-time neural video codec (NVC) designed to deliver high compression ratio, low latency and broad versatility. In practice, the coding speed of NVCs depends on 1) computational costs, and 2) non-computational operational costs, such as memory I/O and the number of function calls. While most efficient NVCs prioritize reducing computational cost, we identify operational cost as the primary bottleneck to achieving higher coding speed. Leveraging this insight, we introduce a set of efficiency-driven design improvements focused on minimizing operational costs. Specifically, we employ implicit temporal modeling to eliminate complex explicit motion modules, and use single low-resolution latent representations rather than progressive downsampling. These innovations significantly accelerate NVC without sacrificing compression quality. Additionally, we implement model integerization for consistent cross-device coding and a module-bank-based rate control scheme to improve practical adaptability. Experiments show our proposed DCVC-RT achieves an impressive average encoding/decoding speed at 125.2/112.8 fps (frames per second) for 1080p video, while saving an average of 21% in bitrate compared to H.266/VTM. The code is available at https://github.com/microsoft/DCVC.
• Abstract（参考訳）: 我々は,高圧縮率,低レイテンシ,幅広い汎用性を実現するために設計された実時間ニューラルビデオコーデック(NVC)を導入する。 実際には、NVCのコーディング速度は依存している。 1)計算コスト、及び 2) メモリI/Oや関数呼び出し数などの非計算運用コスト。 最も効率的なNVCは計算コストの低減を優先するが、より高速な符号化を実現するための主なボトルネックは運用コストである。 この知見を生かして、運用コストの最小化に重点を置いた、効率駆動型設計の改善のセットを紹介します。 具体的には、複雑な明示的な動き加群を排除するために暗黙の時間的モデリングを用い、プログレッシブ・ダウンサンプリングよりも単一の低分解能潜在表現を用いる。 これらの革新は圧縮品質を犠牲にすることなく、NVCを著しく加速させる。 さらに、一貫したクロスデバイス符号化のためのモデル整数化とモジュールバンクベースのレート制御方式を実装し、実用的適応性を向上させる。 実験により,提案したDCVC-RTは1080pビデオの125.2/112.8fps(フレーム毎秒)で,H.266/VTMと比較して平均21%ビットレートを節約できることがわかった。 コードはhttps://github.com/microsoft/DCVCで公開されている。

関連論文リスト

• RL-RC-DoT: A Block-level RL agent for Task-Aware Video Compression [68.31184784672227]
  自律運転のような現代的なアプリケーションでは、圧倒的多数のビデオがタスクを実行するAIシステムの入力として機能する。 したがって、画像の品質ではなく、下流タスクのためにエンコーダを最適化することが有用である。 ここでは、下流タスクを最適化するために、マクロブロックレベルで量子化パラメータ(QP)を制御することで、この問題に対処する。
  論文  参考訳（メタデータ） (2025-01-21T15:36:08Z)
• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [15.872209884833977]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• PNVC: Towards Practical INR-based Video Compression [14.088444622391501]
  自動エンコーダと過度に適合したソリューションを革新的に組み合わせた新しいINRベースのコーディングフレームワークであるPNVCを提案する。 PNVCはHEVC HM 18.0(LD)に対して35%以上のBDレートの節約を実現している。
  論文  参考訳（メタデータ） (2024-09-02T05:31:11Z)
• Accelerating Learned Video Compression via Low-Resolution Representation Learning [18.399027308582596]
  低解像度表現学習に焦点を当てた学習ビデオ圧縮のための効率最適化フレームワークを提案する。 提案手法は,H.266参照ソフトウェアVTMの低遅延P構成と同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-23T12:02:57Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• Neural Video Compression with Feature Modulation [28.105412445443697]
  条件付き符号化ベースニューラルビデオ(NVC)は、一般的に使用される残留符号化ベースニューラルビデオ(NVC)よりも優れていることを示す 本稿では,特徴変調による2つの重要な問題を解くための,条件付き符号化に基づく強力なNVCを提案する。
  論文  参考訳（メタデータ） (2024-02-27T11:08:51Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)
• Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization [96.73647162960842]
  TALはビデオ理解の基本的な課題だが、難しい課題だ。 既存のtalメソッドは、アクション分類の監督を通じてビデオエンコーダを事前トレーニングする。 本稿では,ローファイダリティ・エンド・ツー・エンド(LoFi)ビデオエンコーダの事前学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-28T22:18:14Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)
• Neural Video Coding using Multiscale Motion Compensation and Spatiotemporal Context Model [45.46660511313426]
  エンド・ツー・エンドのディープ・ニューラル・ビデオ・コーディング・フレームワーク(NVC)を提案する。 フレーム内画素、フレーム間運動、フレーム間補償残差の相関を利用するために、共同空間および時間的事前集約(PA)を備えた可変オートエンコーダ(VAE)を使用する。 NVCは低遅延因果条件で評価され、H.265/HEVC、H.264/AVC、その他の学習ビデオ圧縮法と比較される。
  論文  参考訳（メタデータ） (2020-07-09T06:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。