論文の概要: Continual Variational Autoencoder Learning via Online Cooperative
Memorization
- arxiv url: http://arxiv.org/abs/2207.10131v1
- Date: Wed, 20 Jul 2022 18:19:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 12:15:04.392387
- Title: Continual Variational Autoencoder Learning via Online Cooperative
Memorization
- Title(参考訳): オンライン協調記憶による連続的変分オートエンコーダ学習
- Authors: Fei Ye and Adrian G. Bors
- Abstract要約: 変分オートエンコーダ(VAE)は連続的な学習分類タスクでうまく使われている。
しかし、連続学習で学んだクラスやデータベースに対応する仕様で画像を生成する能力はよく理解されていない。
我々は、CLを動的最適輸送問題として定式化する新しい理論フレームワークを開発する。
次に,新しいメモリバッファリング手法,すなわちオンライン協調記憶(OCM)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 11.540150938141034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to their inference, data representation and reconstruction properties,
Variational Autoencoders (VAE) have been successfully used in continual
learning classification tasks. However, their ability to generate images with
specifications corresponding to the classes and databases learned during
Continual Learning (CL) is not well understood and catastrophic forgetting
remains a significant challenge. In this paper, we firstly analyze the
forgetting behaviour of VAEs by developing a new theoretical framework that
formulates CL as a dynamic optimal transport problem. This framework proves
approximate bounds to the data likelihood without requiring the task
information and explains how the prior knowledge is lost during the training
process. We then propose a novel memory buffering approach, namely the Online
Cooperative Memorization (OCM) framework, which consists of a Short-Term Memory
(STM) that continually stores recent samples to provide future information for
the model, and a Long-Term Memory (LTM) aiming to preserve a wide diversity of
samples. The proposed OCM transfers certain samples from STM to LTM according
to the information diversity selection criterion without requiring any
supervised signals. The OCM framework is then combined with a dynamic VAE
expansion mixture network for further enhancing its performance.
- Abstract(参考訳): その推論,データ表現,再構成特性により,変分オートエンコーダ (VAE) は連続的な学習分類タスクに成功している。
しかし、CL(Continuous Learning)で学んだクラスやデータベースに対応する仕様で画像を生成する能力は十分に理解されておらず、破滅的な忘れ込みは依然として大きな課題である。
本稿ではまず, CL を動的最適輸送問題として定式化する理論的枠組みを開発することにより, VAE の忘れる挙動を解析する。
このフレームワークは、タスク情報を必要とせずにデータ可能性に近似した境界を証明し、トレーニングプロセス中に事前の知識が失われる方法について説明する。
次に,新しいメモリバッファリング手法であるオンライン協調記憶(ocm)フレームワークを提案する。これは,最近のサンプルを継続的に保存してモデルに未来情報を提供する短期記憶(stm)と,多種多様なサンプルを保存することを目的とした長期記憶(ltm)から構成される。
提案するOCMは,情報多様性選択基準に従ってSTMからLTMへのサンプルの転送を行う。
OCMフレームワークは、動的VAE拡張混合ネットワークと組み合わせて、その性能をさらに向上させる。
関連論文リスト
- Online Adaptation of Language Models with a Memory of Amortized Contexts [86.91360597169563]
MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。
本稿では,新しい文書から情報を圧縮・抽出するメモリ拡張手法を提案する。
実験では,オンライン適応性能,時間,メモリ効率など,MACの複数の面での優位性を実証した。
論文 参考訳(メタデータ) (2024-03-07T08:34:57Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Continual Vision-Language Representation Learning with Off-Diagonal
Information [112.39419069447902]
CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。
本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
論文 参考訳(メタデータ) (2023-05-11T08:04:46Z) - MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are
Better Dense Retrievers [140.0479479231558]
本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。
MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
論文 参考訳(メタデータ) (2022-12-15T13:57:07Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-12T20:44:09Z) - Learning an evolved mixture model for task-free continual learning [11.540150938141034]
タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。
メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
論文 参考訳(メタデータ) (2022-07-11T16:01:27Z) - Improving Meta-learning for Low-resource Text Classification and
Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。
本手法の有効性を証明するために理論的解析を行った。
論文 参考訳(メタデータ) (2022-03-22T12:41:55Z) - Online Meta Adaptation for Variable-Rate Learned Image Compression [40.8361915315201]
この研究は、ディープニューラルネットワークに基づくエンドツーエンドの学習画像圧縮(lic)の2つの大きな問題に対処する。
我々は,条件付き変分自動エンコーダフレームワークにおけるメタラーニングとオンラインラーニングのアイデアを組み合わせた,licのオンラインメタラーニング(OML)設定を導入する。
論文 参考訳(メタデータ) (2021-11-16T06:46:23Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。