Fugu-MT 論文翻訳(概要): Overfitting for Fun and Profit: Instance-Adaptive Data Compression

論文の概要: Overfitting for Fun and Profit: Instance-Adaptive Data Compression

arxiv url: http://arxiv.org/abs/2101.08687v1
Date: Thu, 21 Jan 2021 15:58:58 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 13:27:33.188411
Title: Overfitting for Fun and Profit: Instance-Adaptive Data Compression
Title（参考訳）: 楽しみと利益のためのオーバーフィット: インスタンス適応型データ圧縮
Authors: Ties van Rozendaal, Iris A.M. Huijben, Taco S. Cohen
Abstract要約: ニューラルデータ圧縮は、RD$パフォーマンスの点で古典的手法より優れていることが示されている。本稿では,この概念を極端に取り入れ,全モデルを単一ビデオに適用し,潜在表現とともにモデル更新を送信する。エンコーダのみの微調整に関して,フルモデル適応によりRD$性能が1dB向上することが実証された。
参考スコア（独自算出の注目度）: 20.764189960709164
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural data compression has been shown to outperform classical methods in terms of $RD$ performance, with results still improving rapidly. At a high level, neural compression is based on an autoencoder that tries to reconstruct the input instance from a (quantized) latent representation, coupled with a prior that is used to losslessly compress these latents. Due to limitations on model capacity and imperfect optimization and generalization, such models will suboptimally compress test data in general. However, one of the great strengths of learned compression is that if the test-time data distribution is known and relatively low-entropy (e.g. a camera watching a static scene, a dash cam in an autonomous car, etc.), the model can easily be finetuned or adapted to this distribution, leading to improved $RD$ performance. In this paper we take this concept to the extreme, adapting the full model to a single video, and sending model updates (quantized and compressed using a parameter-space prior) along with the latent representation. Unlike previous work, we finetune not only the encoder/latents but the entire model, and - during finetuning - take into account both the effect of model quantization and the additional costs incurred by sending the model updates. We evaluate an image compression model on I-frames (sampled at 2 fps) from videos of the Xiph dataset, and demonstrate that full-model adaptation improves $RD$ performance by ~1 dB, with respect to encoder-only finetuning.
Abstract（参考訳）: ニューラルデータ圧縮は、RD$パフォーマンスの点で古典的手法よりも優れており、結果はまだ急速に改善されている。高いレベルでは、ニューラルネットワークの圧縮は、(量子化された)潜在表現から入力インスタンスを再構築しようとするオートエンコーダと、これらの潜在オブジェクトを損失なく圧縮するために使用される前処理を組み合わせる。モデルのキャパシティの制限と不完全な最適化と一般化のため、このようなモデルは一般にテストデータをサブオプティマイズ圧縮する。しかし、学習圧縮の大きな強みの1つは、テスト時のデータ分布が知られ、エントロピーが比較的低い場合である(例)。静的なシーンを見ているカメラ、自動運転車のダッシュカメラなど。モデルを簡単に調整したり、このディストリビューションに適合させたりすることで、RD$のパフォーマンスが向上します。本稿では、この概念を極端に取り入れ、全モデルを単一のビデオに適応させ、モデルの更新(パラメータ空間を事前に定量化し圧縮する)を潜在表現と共に送信する。これまでの作業とは異なり、エンコーダ/ラタントだけでなく、モデル全体を微調整し、微調整中にモデル量子化の効果とモデル更新の送信によって生じる追加コストの両方を考慮に入れます。 xiphデータセットのビデオからiフレーム上の画像圧縮モデル(2fpsでサンプリング)を評価し、エンコーダのみの微調整に関して、フルモデル適応により$rd$性能が~1db向上することを示す。
全文参考訳へのリンク