論文の概要: Continual Variational Autoencoder Learning via Online Cooperative Memorization

• arxiv url: http://arxiv.org/abs/2207.10131v1
• Date: Wed, 20 Jul 2022 18:19:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 12:15:04.392387
• Title: Continual Variational Autoencoder Learning via Online Cooperative Memorization
• Title（参考訳）: オンライン協調記憶による連続的変分オートエンコーダ学習
• Authors: Fei Ye and Adrian G. Bors
• Abstract要約: 変分オートエンコーダ(VAE)は連続的な学習分類タスクでうまく使われている。 しかし、連続学習で学んだクラスやデータベースに対応する仕様で画像を生成する能力はよく理解されていない。 我々は、CLを動的最適輸送問題として定式化する新しい理論フレームワークを開発する。 次に,新しいメモリバッファリング手法,すなわちオンライン協調記憶(OCM)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.540150938141034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to their inference, data representation and reconstruction properties, Variational Autoencoders (VAE) have been successfully used in continual learning classification tasks. However, their ability to generate images with specifications corresponding to the classes and databases learned during Continual Learning (CL) is not well understood and catastrophic forgetting remains a significant challenge. In this paper, we firstly analyze the forgetting behaviour of VAEs by developing a new theoretical framework that formulates CL as a dynamic optimal transport problem. This framework proves approximate bounds to the data likelihood without requiring the task information and explains how the prior knowledge is lost during the training process. We then propose a novel memory buffering approach, namely the Online Cooperative Memorization (OCM) framework, which consists of a Short-Term Memory (STM) that continually stores recent samples to provide future information for the model, and a Long-Term Memory (LTM) aiming to preserve a wide diversity of samples. The proposed OCM transfers certain samples from STM to LTM according to the information diversity selection criterion without requiring any supervised signals. The OCM framework is then combined with a dynamic VAE expansion mixture network for further enhancing its performance.
• Abstract（参考訳）: その推論,データ表現,再構成特性により,変分オートエンコーダ (VAE) は連続的な学習分類タスクに成功している。 しかし、CL(Continuous Learning)で学んだクラスやデータベースに対応する仕様で画像を生成する能力は十分に理解されておらず、破滅的な忘れ込みは依然として大きな課題である。 本稿ではまず, CL を動的最適輸送問題として定式化する理論的枠組みを開発することにより, VAE の忘れる挙動を解析する。 このフレームワークは、タスク情報を必要とせずにデータ可能性に近似した境界を証明し、トレーニングプロセス中に事前の知識が失われる方法について説明する。 次に,新しいメモリバッファリング手法であるオンライン協調記憶(ocm)フレームワークを提案する。これは,最近のサンプルを継続的に保存してモデルに未来情報を提供する短期記憶(stm)と,多種多様なサンプルを保存することを目的とした長期記憶(ltm)から構成される。 提案するOCMは,情報多様性選択基準に従ってSTMからLTMへのサンプルの転送を行う。 OCMフレームワークは、動的VAE拡張混合ネットワークと組み合わせて、その性能をさらに向上させる。

関連論文リスト

• Patch-Based Contrastive Learning and Memory Consolidation for Online Unsupervised Continual Learning [6.042269506496206]
  我々は、オンライン教師なし連続学習(O-UCL)として知られる比較的未探索の学習パラダイムに焦点を当てる。 O-UCLは、教師なし、継続的、あるいはオンライン学習における以前の作業とは異なり、3つの領域を1つの挑戦的で現実的な学習パラダイムにまとめている。 この設定では、エージェントは頻繁に評価され、指定されたオフラインタスクの最後にではなく、データストリームの任意の時点で可能な限りの表現を維持することを目標とする必要があります。
  論文  参考訳（メタデータ） (2024-09-24T18:46:32Z)
• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  インクリメンタル・プロンプト学習のための連続的生成学習を提案する。 変分オートエンコーダを用いてクラス条件分布を学習する。 このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• Memory-guided Network with Uncertainty-based Feature Augmentation for Few-shot Semantic Segmentation [12.653336728447654]
  学習可能なメモリベクトルの集合からなるクラス共有メモリ(CSM)モジュールを提案する。 これらのメモリベクトルは、トレーニング中にベースクラスから要素オブジェクトパターンを学習し、トレーニングと推論の両方でクエリ機能を再エンコードする。 我々は、CSMとUFAを代表的FSS作品に統合し、広く使われているPASCAL-5$i$とCOCO-20$i$データセットの実験結果を得た。
  論文  参考訳（メタデータ） (2024-06-01T19:53:25Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Continual Vision-Language Representation Learning with Off-Diagonal Information [112.39419069447902]
  CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。 本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
  論文  参考訳（メタデータ） (2023-05-11T08:04:46Z)
• MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers [140.0479479231558]
  本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。 MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
  論文  参考訳（メタデータ） (2022-12-15T13:57:07Z)
• Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
  本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。 この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-12T20:44:09Z)
• Learning an evolved mixture model for task-free continual learning [11.540150938141034]
  タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。 メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
  論文  参考訳（メタデータ） (2022-07-11T16:01:27Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。