論文の概要: Implicit Neural Video Compression
- arxiv url: http://arxiv.org/abs/2112.11312v1
- Date: Tue, 21 Dec 2021 15:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-22 18:59:43.028763
- Title: Implicit Neural Video Compression
- Title(参考訳): 暗黙のニューラルビデオ圧縮
- Authors: Yunfan Zhang, Ties van Rozendaal, Johann Brehmer, Markus Nagel, Taco
Cohen
- Abstract要約: 暗黙的なニューラル表現で全解像度映像列を圧縮する手法を提案する。
各フレームは、座標位置をピクセル値にマッピングするニューラルネットワークとして表現される。
我々は、異なる暗黙ネットワークを用いて座標入力を変調し、フレーム間の効率的な動き補償を可能にする。
- 参考スコア(独自算出の注目度): 17.873088127087605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a method to compress full-resolution video sequences with implicit
neural representations. Each frame is represented as a neural network that maps
coordinate positions to pixel values. We use a separate implicit network to
modulate the coordinate inputs, which enables efficient motion compensation
between frames. Together with a small residual network, this allows us to
efficiently compress P-frames relative to the previous frame. We further lower
the bitrate by storing the network weights with learned integer quantization.
Our method, which we call implicit pixel flow (IPF), offers several
simplifications over established neural video codecs: it does not require the
receiver to have access to a pretrained neural network, does not use expensive
interpolation-based warping operations, and does not require a separate
training dataset. We demonstrate the feasibility of neural implicit compression
on image and video data.
- Abstract(参考訳): 暗黙的なニューラル表現で全解像度映像列を圧縮する手法を提案する。
各フレームは、座標位置をピクセル値にマッピングするニューラルネットワークとして表現される。
我々は、異なる暗黙ネットワークを用いて座標入力を変調し、フレーム間の効率的な動き補償を可能にする。
これにより,従来のフレームと比較してpフレームを効率的に圧縮することができる。
学習した整数量子化でネットワーク重みを記憶することで、ビットレートをさらに低くする。
我々の手法は暗黙のピクセルフロー(IPF)と呼ばれ、既存のニューラルビデオコーデックに対していくつかの単純化を提供する: 事前訓練されたニューラルネットワークにアクセスする必要はなく、高価な補間ベースのワープ操作を使用しず、個別のトレーニングデータセットを必要としない。
画像および映像データに対して,ニューラル暗黙圧縮の可能性を示す。
関連論文リスト
- NERV++: An Enhanced Implicit Neural Video Representation [11.25130799452367]
強調された暗黙的ニューラルビデオ表現であるNeRV++のニューラル表現を導入する。
NeRV++は、オリジナルのNeRVデコーダアーキテクチャよりも単純だが効果的な拡張である。
提案手法をUVG,MCL JVC,Bunnyのデータセット上で評価し,INRによる映像圧縮の競合性を実現する。
論文 参考訳(メタデータ) (2024-02-28T13:00:32Z) - Progressive Fourier Neural Representation for Sequential Video
Compilation [75.43041679717376]
連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。
本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。
我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
論文 参考訳(メタデータ) (2023-06-20T06:02:19Z) - Towards Scalable Neural Representation for Diverse Videos [68.73612099741956]
Inlicit Neural representations (INR)は、3Dシーンや画像の表現において注目を集めている。
既存のINRベースの手法は、冗長な視覚コンテンツを持つ短いビデオの符号化に限られている。
本稿では,多種多様な視覚コンテンツを持つ長編・多作ビデオの符号化のためのニューラル表現の開発に焦点をあてる。
論文 参考訳(メタデータ) (2023-03-24T16:32:19Z) - Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。
一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
論文 参考訳(メタデータ) (2022-10-13T08:15:08Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-01-30T20:12:04Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳(メタデータ) (2022-01-16T07:22:47Z) - Improved CNN-based Learning of Interpolation Filters for Low-Complexity
Inter Prediction in Video Coding [5.46121027847413]
本稿では,ニューラルネットワークを用いた新しい予測手法を提案する。
新たなトレーニングフレームワークにより、各ネットワークブランチは特定の分数シフトに類似することができる。
Versatile Video Coding (VVC)テストモデルで実装されると、0.77%、1.27%、および2.25%のBDレートの節約が達成される。
論文 参考訳(メタデータ) (2021-06-16T16:48:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。