論文の概要: OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless
Compression
- arxiv url: http://arxiv.org/abs/2111.01662v1
- Date: Tue, 2 Nov 2021 15:18:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 17:07:59.525088
- Title: OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless
Compression
- Title(参考訳): OSOA: 損失のない圧縮のための深層生成モデルのワンショットオンライン適応
- Authors: Chen Zhang, Shifeng Zhang, Fabio Maria Carlucci, Zhenguo Li
- Abstract要約: 本稿では,事前学習した深部生成モデルから始まり,そのモデルに動的システムを適用してデータバッチを圧縮する手法を提案する。
実験結果から、バニラOSOAは、トレーニング対象のモデルとスペースに対して、すべてのターゲットに対して1つのモデルを使用することに対して、かなりの時間を節約できることが示された。
- 参考スコア(独自算出の注目度): 49.10945855716001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explicit deep generative models (DGMs), e.g., VAEs and Normalizing Flows,
have shown to offer an effective data modelling alternative for lossless
compression. However, DGMs themselves normally require large storage space and
thus contaminate the advantage brought by accurate data density estimation. To
eliminate the requirement of saving separate models for different target
datasets, we propose a novel setting that starts from a pretrained deep
generative model and compresses the data batches while adapting the model with
a dynamical system for only one epoch. We formalise this setting as that of
One-Shot Online Adaptation (OSOA) of DGMs for lossless compression and propose
a vanilla algorithm under this setting. Experimental results show that vanilla
OSOA can save significant time versus training bespoke models and space versus
using one model for all targets. With the same adaptation step number or
adaptation time, it is shown vanilla OSOA can exhibit better space efficiency,
e.g., $47\%$ less space, than fine-tuning the pretrained model and saving the
fine-tuned model. Moreover, we showcase the potential of OSOA and motivate more
sophisticated OSOA algorithms by showing further space or time efficiency with
multiple updates per batch and early stopping.
- Abstract(参考訳): VAEや正規化フローなどのDGM(Deep Generative Model)は、損失のない圧縮に有効なデータモデリング代替手段を提供することを示した。
しかし、DGM自体は通常、大きなストレージスペースを必要とするため、正確なデータ密度推定による利点を汚染する。
異なる対象データセットに対して別々のモデルを保存する必要をなくすため,事前訓練された深層生成モデルから始めて,そのモデルに1時間だけ動的システムを適用しながら圧縮する新しい設定を提案する。
我々はこの設定を,dgmのone-shot online adaptation (osoa) によるロスレス圧縮を定式化し,バニラアルゴリズムを提案する。
実験の結果,vanilla osoaは,単発のモデルと空間をトレーニングするよりも,すべてのターゲットにひとつのモデルを使用することよりも,かなりの時間を節約できることがわかった。
同じ適応ステップ数または適応時間で、バニラOSOAは、事前訓練されたモデルを微調整し、微調整されたモデルを節約するよりも、より優れた空間効率(例:4,7\%$)を示す。
さらに、我々は、OSOAの可能性を示し、より洗練されたOSOAアルゴリズムを動機付け、バッチ毎に複数の更新を行い、より空間や時間効率を示す。
関連論文リスト
- Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via
Selective Entropy Distillation [60.17626806243389]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳(メタデータ) (2024-02-27T08:47:19Z) - Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。
適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。
最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
論文 参考訳(メタデータ) (2023-10-05T14:08:42Z) - Offsite-Tuning: Transfer Learning without Full Model [21.460079553685713]
Offsite-tuningは、プライバシ保護と効率的な転送学習フレームワークである。
オフサイトチューニングは、フルモデルファインチューニングと同等の精度を達成することができる。
論文 参考訳(メタデータ) (2023-02-09T18:59:55Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - HigeNet: A Highly Efficient Modeling for Long Sequence Time Series
Prediction in AIOps [30.963758935255075]
本稿では,HigeNetという高効率モデルを提案し,時系列時系列の予測を行う。
モデルのトレーニング時間,資源使用量,精度は,5つの最先端競合モデルよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2022-11-13T13:48:43Z) - NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of
Models [90.6485663020735]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。
我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
論文 参考訳(メタデータ) (2021-08-07T12:03:14Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳(メタデータ) (2020-06-12T15:07:08Z) - To Regularize or Not To Regularize? The Bias Variance Trade-off in
Regularized AEs [10.611727286504994]
AEモデルの生成決定論的品質に及ぼす潜伏剤の影響について検討する。
我々は、FlexAEと呼ばれるモデルが、AEベースの生成モデルのための新しい最先端技術であることを示します。
論文 参考訳(メタデータ) (2020-06-10T14:00:14Z) - When Ensembling Smaller Models is More Efficient than Single Large
Models [52.38997176317532]
アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。
これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
論文 参考訳(メタデータ) (2020-05-01T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。