論文の概要: OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression

• arxiv url: http://arxiv.org/abs/2111.01662v1
• Date: Tue, 2 Nov 2021 15:18:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 17:07:59.525088
• Title: OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression
• Title（参考訳）: OSOA: 損失のない圧縮のための深層生成モデルのワンショットオンライン適応
• Authors: Chen Zhang, Shifeng Zhang, Fabio Maria Carlucci, Zhenguo Li
• Abstract要約: 本稿では,事前学習した深部生成モデルから始まり,そのモデルに動的システムを適用してデータバッチを圧縮する手法を提案する。 実験結果から、バニラOSOAは、トレーニング対象のモデルとスペースに対して、すべてのターゲットに対して1つのモデルを使用することに対して、かなりの時間を節約できることが示された。
• 参考スコア（独自算出の注目度）: 49.10945855716001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explicit deep generative models (DGMs), e.g., VAEs and Normalizing Flows, have shown to offer an effective data modelling alternative for lossless compression. However, DGMs themselves normally require large storage space and thus contaminate the advantage brought by accurate data density estimation. To eliminate the requirement of saving separate models for different target datasets, we propose a novel setting that starts from a pretrained deep generative model and compresses the data batches while adapting the model with a dynamical system for only one epoch. We formalise this setting as that of One-Shot Online Adaptation (OSOA) of DGMs for lossless compression and propose a vanilla algorithm under this setting. Experimental results show that vanilla OSOA can save significant time versus training bespoke models and space versus using one model for all targets. With the same adaptation step number or adaptation time, it is shown vanilla OSOA can exhibit better space efficiency, e.g., $47\%$ less space, than fine-tuning the pretrained model and saving the fine-tuned model. Moreover, we showcase the potential of OSOA and motivate more sophisticated OSOA algorithms by showing further space or time efficiency with multiple updates per batch and early stopping.
• Abstract（参考訳）: VAEや正規化フローなどのDGM(Deep Generative Model)は、損失のない圧縮に有効なデータモデリング代替手段を提供することを示した。 しかし、DGM自体は通常、大きなストレージスペースを必要とするため、正確なデータ密度推定による利点を汚染する。 異なる対象データセットに対して別々のモデルを保存する必要をなくすため,事前訓練された深層生成モデルから始めて,そのモデルに1時間だけ動的システムを適用しながら圧縮する新しい設定を提案する。 我々はこの設定を,dgmのone-shot online adaptation (osoa) によるロスレス圧縮を定式化し,バニラアルゴリズムを提案する。 実験の結果,vanilla osoaは,単発のモデルと空間をトレーニングするよりも,すべてのターゲットにひとつのモデルを使用することよりも,かなりの時間を節約できることがわかった。 同じ適応ステップ数または適応時間で、バニラOSOAは、事前訓練されたモデルを微調整し、微調整されたモデルを節約するよりも、より優れた空間効率(例:4,7\%$)を示す。 さらに、我々は、OSOAの可能性を示し、より洗練されたOSOAアルゴリズムを動機付け、バッチ毎に複数の更新を行い、より空間や時間効率を示す。

関連論文リスト

• Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
  我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。 具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。 動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
  論文  参考訳（メタデータ） (2024-10-16T02:06:27Z)
• Single Parent Family: A Spectrum of Family Members from a Single Pre-Trained Foundation Model [20.054342930450055]
  本稿では,大規模言語モデルの圧縮に適したプログレッシブ・ローランク分解法(PLRD)を提案する。 PLRDは計算オーバーヘッドとエネルギー消費を大幅に削減する。 この結果から,PLRD は LLM の効率的なスケーリングのための新しい標準となる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-28T15:27:57Z)
• DAISY: Data Adaptive Self-Supervised Early Exit for Speech Representation Models [55.608981341747246]
  本稿では,データ適応型自己監督早期退避(DAISY)を導入する。 DAISYの適応性に関する分析では、ノイズの多いデータ上で(より多くのレイヤを使用して)遅い時間に、クリーンデータ上で(より少ないレイヤを使用して)モデルが早期に(より少ないレイヤを使用して)終了することを示しています。
  論文  参考訳（メタデータ） (2024-06-08T12:58:13Z)
• Direct Preference Optimization With Unobserved Preference Heterogeneity [16.91835461818937]
  本稿では,生成モデルと人間の嗜好を一致させる新しい手法を提案する。 そこで我々はDPOに対する期待最大化適応を提案し、アノテータの潜在選好型に基づくモデルの混合を生成する。 我々のアルゴリズムはDPOの単純さを生かし、多様な好みを調節する。
  論文  参考訳（メタデータ） (2024-05-23T21:25:20Z)
• Low-rank Adaptation for Spatio-Temporal Forecasting [13.595533573828734]
  本稿では,既存の時空間予測モデルSTLo-RAのためのオフザシェルフプラグインとして,新しい低ランク適応フレームワークを提案する。 我々のアプローチは、元のモデルのパラメータとトレーニング時間を4%以下に増やし、一貫性と持続的なパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2024-04-11T17:04:55Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of Models [90.6485663020735]
  事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。 我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
  論文  参考訳（メタデータ） (2021-08-07T12:03:14Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。