論文の概要: Looking through the past: better knowledge retention for generative replay in continual learning

• arxiv url: http://arxiv.org/abs/2309.10012v1
• Date: Mon, 18 Sep 2023 13:45:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 18:16:58.879794
• Title: Looking through the past: better knowledge retention for generative replay in continual learning
• Title（参考訳）: 過去を振り返る: 連続学習における生成的リプレイのためのより良い知識保持
• Authors: Valeriya Khan, Sebastian Cygert, Kamil Deja, Tomasz Trzci\'nski, Bart{\l}omiej Twardowski
• Abstract要約: VAEベースの生成再生は、より多くのクラスを持つより複雑なデータを生成するのに十分ではない。 モデルが複雑なデータを学習し、生成することを可能にする3つの修正を提案する。 本手法は,様々なシナリオにおいて,他の再生手法よりも優れる。
• 参考スコア（独自算出の注目度）: 18.695587430349438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we improve the generative replay in a continual learning setting to perform well on challenging scenarios. Current generative rehearsal methods are usually benchmarked on small and simple datasets as they are not powerful enough to generate more complex data with a greater number of classes. We notice that in VAE-based generative replay, this could be attributed to the fact that the generated features are far from the original ones when mapped to the latent space. Therefore, we propose three modifications that allow the model to learn and generate complex data. More specifically, we incorporate the distillation in latent space between the current and previous models to reduce feature drift. Additionally, a latent matching for the reconstruction and original data is proposed to improve generated features alignment. Further, based on the observation that the reconstructions are better for preserving knowledge, we add the cycling of generations through the previously trained model to make them closer to the original data. Our method outperforms other generative replay methods in various scenarios. Code available at https://github.com/valeriya-khan/looking-through-the-past.
• Abstract（参考訳）: 本研究では,連続的な学習環境における生成的リプレイを改善し,課題に対処する。 現在の生成リハーサルメソッドは通常、より多くのクラスでより複雑なデータを生成するほど強力ではないため、小さくて単純なデータセットでベンチマークされる。 VAEベースの生成リプレイでは、生成した特徴が潜伏空間にマッピングされたときの本来の特徴からかけ離れているという事実に起因する可能性があることに気付きました。 そこで本研究では,モデルの学習と複雑なデータ生成を可能にする3つの修正を提案する。 具体的には, 現在のモデルと過去のモデルの間の潜時空間における蒸留を取り入れ, 特徴量の減少を図る。 さらに,再構成とオリジナルデータに対する潜在マッチングを提案し,特徴のアライメントを改善する。 さらに, 復元が知識の保存に適しているという見地から, 以前に訓練されたモデルを通じて, 世代ごとの循環を加えて, 元のデータに近づける。 本手法は,様々なシナリオにおいて他の生成リプレイ手法よりも優れる。 コードはhttps://github.com/valeriya-khan/look-through-the-past。

関連論文リスト

• Prioritized Generative Replay [121.83947140497655]
  本稿では,オンライン体験を再現する生成モデルを用いて,エージェントのメモリの優先的でパラメトリックなバージョンを提案する。 このパラダイムは、生成モデルの一般化能力の恩恵を受ける新しい世代と共に、過去の経験の密度化を可能にする。 このレシピは条件付き拡散モデルと単純な関連関数を用いてインスタンス化できることを示す。
  論文  参考訳（メタデータ） (2024-10-23T17:59:52Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Adiabatic replay for continual learning [138.7878582237908]
  生成的リプレイは、すでに知られていることを再学習するだけで、より多くの時間を費やします。 我々は、アディバティック・リプレイ(AR)と呼ぶリプレイベースのCL戦略を提案する。 VAEを用いた最先端の深層再生よりもARの方が優れていることを実験的に検証した。
  論文  参考訳（メタデータ） (2023-03-23T10:18:06Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue [80.05509768165135]
  生成的再生法は、過去の知識と生成された擬似サンプルを統合するために広く用いられている。 既存の生成的再生法の多くは、モデルを制御するために単一のタスク固有のトークンのみを使用する。 本稿では,タスクの統計を取り入れて生成的再生を向上させるために,生涯学習のための新しい条件付きVAEを提案する。
  論文  参考訳（メタデータ） (2022-10-14T13:12:14Z)
• Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework [15.345043222622158]
  我々は、時間とともに新しいクラスが出現するオンラインのクラス増分学習環境に焦点を当てる。 既存のほとんどのメソッドは、ソフトマックス分類器を使ったリプレイベースである。 特徴空間に基づく新しい生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-19T06:54:20Z)
• Generative Negative Replay for Continual Learning [13.492896179777835]
  アキレスの継続的な学習のヒールは、古いデータの一部を保存し、それらを新しい経験とインターリーブした再生である。 生成的リプレイは、生成モデルを使用してオンデマンドで再生パターンを提供する。 生成したデータは通常、古いクラスの分類精度を向上できないが、新しいクラスをより良く学習するためのネガティブな例として有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-12T14:38:00Z)
• Dual-Teacher Class-Incremental Learning With Data-Free Generative Replay [49.691610143011566]
  クラスインクリメンタルラーニング(CIL)のための2つの新しい知識伝達手法を提案する。 まず,データフリーな生成リプレイ(DF-GR)を提案し,生成モデルからの合成サンプルを用いてCILの破滅的忘れを緩和する。 第2に,2人の教師から1人の生徒に知識蒸留を行うための2つの教員情報蒸留(DT-ID)を導入する。
  論文  参考訳（メタデータ） (2021-06-17T22:13:15Z)
• Generative Feature Replay with Orthogonal Weight Modification for Continual Learning [20.8966035274874]
  生成的再生は、破滅的な忘れを和らげるために、以前のタスクの擬似データを生成し再生する有望な戦略である。 生成モデルを用いて垂直層の特徴を再現することを提案する; 2) 自己監督型補助タスクを活用して特徴の安定性をさらに向上する。 いくつかのデータセットにおける実験結果から,我々の手法は常に強力なOWMよりも大幅に改善されていることが分かる。
  論文  参考訳（メタデータ） (2020-05-07T13:56:22Z)
• Generative Feature Replay For Class-Incremental Learning [46.88667212214957]
  タスクIDが推論時に未知であることを意味するクラスインクリメンタル設定を考える。 古いクラスと新しいクラスの不均衡は通常、ネットワークの最新のクラスへのバイアスをもたらす。 本稿では,前向きな表現を必要としない生成的特徴リプレイに基づくソリューションを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。