論文の概要: Overfitting for Fun and Profit: Instance-Adaptive Data Compression
- arxiv url: http://arxiv.org/abs/2101.08687v1
- Date: Thu, 21 Jan 2021 15:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 13:27:33.188411
- Title: Overfitting for Fun and Profit: Instance-Adaptive Data Compression
- Title（参考訳）: 楽しみと利益のためのオーバーフィット: インスタンス適応型データ圧縮
- Authors: Ties van Rozendaal, Iris A.M. Huijben, Taco S. Cohen
- Abstract要約: ニューラルデータ圧縮は、RD$パフォーマンスの点で古典的手法より優れていることが示されている。
本稿では,この概念を極端に取り入れ,全モデルを単一ビデオに適用し,潜在表現とともにモデル更新を送信する。
エンコーダのみの微調整に関して,フルモデル適応によりRD$性能が1dB向上することが実証された。
- 参考スコア（独自算出の注目度）: 20.764189960709164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural data compression has been shown to outperform classical methods in
terms of $RD$ performance, with results still improving rapidly. At a high
level, neural compression is based on an autoencoder that tries to reconstruct
the input instance from a (quantized) latent representation, coupled with a
prior that is used to losslessly compress these latents. Due to limitations on
model capacity and imperfect optimization and generalization, such models will
suboptimally compress test data in general. However, one of the great strengths
of learned compression is that if the test-time data distribution is known and
relatively low-entropy (e.g. a camera watching a static scene, a dash cam in an
autonomous car, etc.), the model can easily be finetuned or adapted to this
distribution, leading to improved $RD$ performance. In this paper we take this
concept to the extreme, adapting the full model to a single video, and sending
model updates (quantized and compressed using a parameter-space prior) along
with the latent representation. Unlike previous work, we finetune not only the
encoder/latents but the entire model, and - during finetuning - take into
account both the effect of model quantization and the additional costs incurred
by sending the model updates. We evaluate an image compression model on
I-frames (sampled at 2 fps) from videos of the Xiph dataset, and demonstrate
that full-model adaptation improves $RD$ performance by ~1 dB, with respect to
encoder-only finetuning.
- Abstract（参考訳）: ニューラルデータ圧縮は、RD$パフォーマンスの点で古典的手法よりも優れており、結果はまだ急速に改善されている。
高いレベルでは、ニューラルネットワークの圧縮は、(量子化された)潜在表現から入力インスタンスを再構築しようとするオートエンコーダと、これらの潜在オブジェクトを損失なく圧縮するために使用される前処理を組み合わせる。
モデルのキャパシティの制限と不完全な最適化と一般化のため、このようなモデルは一般にテストデータをサブオプティマイズ圧縮する。
しかし、学習圧縮の大きな強みの1つは、テスト時のデータ分布が知られ、エントロピーが比較的低い場合である(例)。
静的なシーンを見ているカメラ、自動運転車のダッシュカメラなど。
モデルを簡単に調整したり、このディストリビューションに適合させたりすることで、RD$のパフォーマンスが向上します。
本稿では、この概念を極端に取り入れ、全モデルを単一のビデオに適応させ、モデルの更新(パラメータ空間を事前に定量化し圧縮する)を潜在表現と共に送信する。
これまでの作業とは異なり、エンコーダ/ラタントだけでなく、モデル全体を微調整し、微調整中にモデル量子化の効果とモデル更新の送信によって生じる追加コストの両方を考慮に入れます。
xiphデータセットのビデオからiフレーム上の画像圧縮モデル(2fpsでサンプリング)を評価し、エンコーダのみの微調整に関して、フルモデル適応により$rd$性能が~1db向上することを示す。
- 全文 参考訳へのリンク
関連論文リスト
- Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。
提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
論文 参考訳（メタデータ） (2022-04-26T01:35:02Z) - On-demand compute reduction with stochastic wav2vec 2.0 [63.22845151306881]
本稿では、wav2vec 2.0(W2V2)モデルに対するオンデマンドの計算量削減のための圧縮を提案する。
960hのLibrispeechデータセットで事前学習し、10hの転写データに微調整を行った結果,同じモデルを用いて単語誤り率(WER)と推測時間とのスムーズなトレードオフが得られた。
論文 参考訳（メタデータ） (2022-04-25T19:25:46Z) - Entroformer: A Transformer-based Entropy Model for Learned Image
Compression [17.51693464943102]
本稿では,確率分布推定における長距離依存性を捉えるために,トランスフォーマを用いたエントロピーモデルEntroformerを提案する。
実験の結果,Entroformerは時間効率を保ちながら,画像圧縮の最先端性能を実現することがわかった。
論文 参考訳（メタデータ） (2022-02-11T08:03:31Z) - Towards Robust Neural Image Compression: Adversarial Attack and Model
Finetuning [20.209647329095084]
我々は,原画像に少量のノイズ摂動を注入することにより,敵対攻撃を行う。
次に、一般的な学習画像圧縮モデルを用いて、これらの逆例を符号化する。
実験では, 逆行性例の再建に強い歪みが認められた。
論文 参考訳（メタデータ） (2021-12-16T08:28:26Z) - Instance-Adaptive Video Compression: Improving Neural Codecs by Training
on the Test Set [16.88687464836377]
本稿では,インスタンス適応学習に基づくビデオ圧縮アルゴリズムを提案する。
送信される各ビデオシーケンスに対して、事前訓練された圧縮モデルを微調整する。
ネットワークサイズを72%削減した後でも,最先端の性能を実現することができることを示す。
論文 参考訳（メタデータ） (2021-11-19T16:25:34Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - Substitutional Neural Image Compression [48.20906717052056]
置換型ニューラルイメージ圧縮(snic)は、あらゆるニューラルイメージ圧縮モデルを強化する一般的なアプローチである。
フレキシブルな歪みメトリックに向けて圧縮性能を高め、単一のモデルインスタンスを使用したビットレート制御を可能にする。
論文 参考訳（メタデータ） (2021-05-16T20:53:31Z) - Lossless Compression with Latent Variable Models [4.289574109162585]
我々は「非対称数値系を持つビットバック」(bb-ans)と呼ぶ潜在変数モデルを用いる。
この方法は、エンコードおよびデコードステップをインターリーブし、データのバッチ圧縮時に最適なレートを達成する。
我々は,深層生成モデルを用いた圧縮の高速プロトタイピングのために開発したモジュール型ソフトウェアフレームワークである'craystack'について述べる。
論文 参考訳（メタデータ） (2021-04-21T14:03:05Z) - Learning Scalable $\ell_\infty$-constrained Near-lossless Image
Compression via Joint Lossy Image and Residual Compression [118.89112502350177]
本稿では,$ell_infty$-constrained near-lossless image compressionを学習するための新しいフレームワークを提案する。
元の残差の学習確率モデルを定量化し、量子化残差の確率モデルを導出する。
論文 参考訳（メタデータ） (2021-03-31T11:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。