論文の概要: MobileNVC: Real-time 1080p Neural Video Compression on a Mobile Device
- arxiv url: http://arxiv.org/abs/2310.01258v1
- Date: Mon, 2 Oct 2023 14:50:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 21:21:00.853411
- Title: MobileNVC: Real-time 1080p Neural Video Compression on a Mobile Device
- Title（参考訳）: MobileNVC: モバイルデバイス上のリアルタイム1080pニューラルビデオ圧縮
- Authors: Ties van Rozendaal, Tushar Singhal, Hoang Le, Guillaume Sautiere, Amir
Said, Krishna Buska, Anjuman Raha, Dimitris Kalatzis, Hitarth Mehta, Frank
Mayer, Liang Zhang, Markus Nagel, Auke Wiggers
- Abstract要約: この研究は、モバイルデバイス上で1080pのYUV420ビデオをリアルタイムでデコードする最初のニューラルビデオを示す。
我々は,移動加速器のワープコアで利用可能なブロックベースの動き補償アルゴリズムを用いる。
我々は、ニューラルネットワークコンポーネントをニューラルネットワークプロセッサ上で同時に実行する高速デコーダパイプラインを実装している。
- 参考スコア（独自算出の注目度）: 11.842644678122983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural video codecs have recently become competitive with standard codecs
such as HEVC in the low-delay setting. However, most neural codecs are large
floating-point networks that use pixel-dense warping operations for temporal
modeling, making them too computationally expensive for deployment on mobile
devices. Recent work has demonstrated that running a neural decoder in real
time on mobile is feasible, but shows this only for 720p RGB video, while the
YUV420 format is more commonly used in production. This work presents the first
neural video codec that decodes 1080p YUV420 video in real time on a mobile
device. Our codec relies on two major contributions. First, we design an
efficient codec that uses a block-based motion compensation algorithm available
on the warping core of the mobile accelerator, and we show how to quantize this
model to integer precision. Second, we implement a fast decoder pipeline that
concurrently runs neural network components on the neural signal processor,
parallel entropy coding on the mobile GPU, and warping on the warping core. Our
codec outperforms the previous on-device codec by a large margin with up to 48
% BD-rate savings, while reducing the MAC count on the receiver side by 10x. We
perform a careful ablation to demonstrate the effect of the introduced motion
compensation scheme, and ablate the effect of model quantization.
- Abstract（参考訳）: ニューラルビデオコーデックは最近、低遅延設定でHEVCのような標準コーデックと競合している。
しかし、ほとんどのニューラルコーデックは大きな浮動小数点ネットワークであり、時間的モデリングにピクセル密度のワープ操作を使用するため、モバイルデバイスへの展開には計算コストがかかりすぎる。
最近の研究では、モバイルでリアルタイムにニューラルデコーダを実行することは可能であるが、720pのrgbビデオでのみ可能であり、yuv420フォーマットはプロダクションでより一般的に使用されている。
この研究は、1080p yuv420ビデオをモバイルデバイス上でリアルタイムにデコードする最初のニューラルビデオコーデックである。
私たちのコーデックは2つの大きな貢献に依存している。
まず,移動加速器のワープコア上で利用可能なブロックベースの動き補償アルゴリズムを用いた効率的なコーデックを設計し,このモデルを整数精度に定量化する方法を示す。
第2に,ニューラルネットワークコンポーネントをニューラルネットワークプロセッサ上で同時実行し,並列エントロピー符号化をモバイルgpu上で実行し,ワーピングコアをウォーピングする高速デコーダパイプラインを実装した。
我々のコーデックは、以前のデバイス上のコーデックを最大48%のBDレートの節約率で上回り、受信側のMAC数を10倍に削減する。
導入した動作補償スキームの効果を示すために注意深いアブレーションを行い,モデル量子化の効果を緩和する。
関連論文リスト
- Fast Encoding and Decoding for Implicit Video Representation [88.43612845776265]
本稿では,高速エンコーディングのためのトランスフォーマーベースのハイパーネットワークであるNeRV-Encと,効率的なビデオローディングのための並列デコーダであるNeRV-Decを紹介する。
NeRV-Encは勾配ベースの最適化をなくすことで$mathbf104times$の素晴らしいスピードアップを実現している。
NeRV-Decはビデオデコーディングを単純化し、ロード速度が$mathbf11times$で従来のコーデックよりも高速である。
論文 参考訳（メタデータ） (2024-09-28T18:21:52Z) - V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians [53.614560799043545]
V3 (Viewing Volumetric Videos) は,ダイナミックガウスのストリーミングによる高品質なモバイルレンダリングを実現する,新たなアプローチである。
私たちの重要なイノベーションは、ダイナミックな3DGSを2Dビデオと見なすことで、ハードウェアビデオコーデックの使用を促進することです。
モバイル端末でダイナミックなガウシアンをストリームする最初の手段として、私たちのコンパニオンプレーヤーは、前例のないボリュームビデオ体験をユーザに提供します。
論文 参考訳（メタデータ） (2024-09-20T16:54:27Z) - No Time to Waste: Squeeze Time into Channel for Mobile Video Understanding [38.60950616529459]
我々は,ビデオシーケンスの時間軸をチャネル次元に絞り込み,モバイルビデオ理解のための軽量なビデオ認識ネットワークであるtextitSqueezeTime を提案する。
提案されているSqueezeTimeは、非常に軽量で高速で、モバイルビデオ理解の精度が高い。
論文 参考訳（メタデータ） (2024-05-14T06:32:40Z) - Towards Real-Time Neural Video Codec for Cross-Platform Application
Using Calibration Information [17.141950680993617]
浮動小数点演算によるクロスプラットフォームの計算誤差は、ビットストリームの不正確な復号につながる可能性がある。
符号化と復号処理の計算複雑性が高いことは、リアルタイムのパフォーマンスを達成する上での課題である。
リアルタイムクロスプラットフォームのニューラルビデオは、コンシューマグレードのGPU上で、他のエンコーディングプラットフォームから720Pビデオのビットストリームを効率的に復号することができる。
論文 参考訳（メタデータ） (2023-09-20T13:01:15Z) - Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。
一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
論文 参考訳（メタデータ） (2022-10-13T08:15:08Z) - Boosting neural video codecs by exploiting hierarchical redundancy [4.596829771045344]
従来の復号化データから外挿を学習するジェネリックモーションと残留予測器を導入する。
RGBは、ニューラルビデオ符号化文学において主要な色空間であるが、YUV420色空間を受け入れるために、ニューラルビデオコーデックの一般的な修正を導入する。
我々の実験は、よく知られたニューラルビデオで予測器を使用することで、UVGデータセットで測定されたRGBとYUV420の色空間を38%から34%節約できることを示した。
論文 参考訳（メタデータ） (2022-08-08T17:49:19Z) - MobileCodec: Neural Inter-frame Video Compression on Mobile Devices [14.339890901963862]
商用携帯電話で動作する最初のフレーム間ニューラルビデオデコーダを示す。
商用携帯電話で動作する最初のフレーム間ニューラルビデオデコーダを示す。
論文 参考訳（メタデータ） (2022-07-18T01:20:18Z) - Block Modulating Video Compression: An Ultra Low Complexity Image Compression Encoder for Resource Limited Platforms [35.76050232152349]
省電力・計算資源の少ないモバイルプラットフォーム上で, BMVCの超低コスト化が提案されている。
ディープニューラルネットワークによって実装された2種類のBMVCデコーダを提示する。
論文 参考訳（メタデータ） (2022-05-07T16:20:09Z) - SoundStream: An End-to-End Neural Audio Codec [78.94923131038682]
本稿では,音声,音楽,一般音声を効率よく圧縮できる新しいニューラルオーディオシステムSoundStreamを紹介する。
SoundStreamは完全な畳み込みエンコーダ/デコーダネットワークと残留ベクトル量子化器に頼っている。
エンコーダまたはデコーダ側で、追加のレイテンシなしで、共同圧縮と拡張を行うことができます。
論文 参考訳（メタデータ） (2021-07-07T15:45:42Z) - MoViNets: Mobile Video Networks for Efficient Video Recognition [52.49314494202433]
3D畳み込みニューラルネットワーク(CNN)は、ビデオ認識では正確だが、大きな計算とメモリ予算を必要とする。
本稿では,3次元CNNのピークメモリ使用量を大幅に削減しつつ,計算効率を向上させる3段階の手法を提案する。
論文 参考訳（メタデータ） (2021-03-21T23:06:38Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。