論文の概要: Continual Learning with Dirichlet Generative-based Rehearsal
- arxiv url: http://arxiv.org/abs/2309.06917v1
- Date: Wed, 13 Sep 2023 12:30:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 14:19:22.288898
- Title: Continual Learning with Dirichlet Generative-based Rehearsal
- Title(参考訳): ディリクレ生成型リハーサルによる連続学習
- Authors: Min Zeng, Wei Xue, Qifeng Liu, Yike Guo
- Abstract要約: 本稿では,タスク指向対話システムのための新しい生成型リハーサル戦略であるDirichlet Continual Learningを紹介する。
また,ロジットに基づく堅牢な知識蒸留法であるJensen-Shannon Knowledge Distillation (JSKD)についても紹介する。
本研究は,本手法の有効性を実証し,本手法の有効性を確認した。
- 参考スコア(独自算出の注目度): 22.314195832409755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in data-driven task-oriented dialogue systems (ToDs)
struggle with incremental learning due to computational constraints and
time-consuming issues. Continual Learning (CL) attempts to solve this by
avoiding intensive pre-training, but it faces the problem of catastrophic
forgetting (CF). While generative-based rehearsal CL methods have made
significant strides, generating pseudo samples that accurately reflect the
underlying task-specific distribution is still a challenge. In this paper, we
present Dirichlet Continual Learning (DCL), a novel generative-based rehearsal
strategy for CL. Unlike the traditionally used Gaussian latent variable in the
Conditional Variational Autoencoder (CVAE), DCL leverages the flexibility and
versatility of the Dirichlet distribution to model the latent prior variable.
This enables it to efficiently capture sentence-level features of previous
tasks and effectively guide the generation of pseudo samples. In addition, we
introduce Jensen-Shannon Knowledge Distillation (JSKD), a robust logit-based
knowledge distillation method that enhances knowledge transfer during pseudo
sample generation. Our experiments confirm the efficacy of our approach in both
intent detection and slot-filling tasks, outperforming state-of-the-art
methods.
- Abstract(参考訳): データ駆動型タスク指向対話システム(ToD)の最近の進歩は、計算制約や時間的問題による漸進的な学習に苦慮している。
継続学習(CL)は、集中的な事前学習を避けることでこれを解決しようとするが、破滅的な忘れ(CF)の問題に直面している。
生成的リハーサルCL法は大きな進歩を遂げているが、基礎となるタスク固有の分布を正確に反映した擬似サンプルを生成することは依然として課題である。
本稿では,clのための新しい生成型リハーサル戦略であるdirichlet continual learning (dcl)を提案する。
条件変分オートエンコーダ(CVAE)の従来のガウス潜時変数とは異なり、DCLはディリクレ分布の柔軟性と汎用性を活用して潜時潜時変数をモデル化する。
これにより、前のタスクの文レベルの特徴を効率的にキャプチャし、擬似サンプルの生成を効果的に導くことができる。
また,疑似サンプル生成時の知識伝達を促進するロジットベースの知識蒸留法であるjensen-shannon knowledge distillation (jskd)を提案する。
本研究は,本手法の有効性を実証し,本手法の有効性を確認した。
関連論文リスト
- Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - Detecting Morphing Attacks via Continual Incremental Training [10.796380524798744]
近年の継続学習(CL)パラダイムは,複数のサイトを通したインクリメンタルトレーニングを実現する上で,効果的なソリューションである可能性がある。
本稿では,このシナリオにおける異なる連続学習手法の性能について検討し,可変サイズであっても,新しいデータチャンクが利用できる度に更新される学習モデルをシミュレートする。
実験結果から,特定のCL手法,すなわちLawF(Learning without Forgetting)が最良性能アルゴリズムの1つであることが判明した。
論文 参考訳(メタデータ) (2023-07-27T17:48:29Z) - Learning to Retain while Acquiring: Combating Distribution-Shift in
Adversarial Data-Free Knowledge Distillation [31.294947552032088]
データフリーな知識蒸留(DFKD)は、教師から学生ニューラルネットワークへの知識伝達を、訓練データがない状態で行うという基本的な考え方により、近年人気を集めている。
本稿では,メタトレインとメタテストとして,知識獲得(新たに生成されたサンプルからの学習)と知識保持(以前に得られたサンプルの知識の保持)の課題を取り扱うことで,メタ学習にインスパイアされたフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-28T03:50:56Z) - Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong
Learning in Task-Oriented Dialogue [80.05509768165135]
生成的再生法は、過去の知識と生成された擬似サンプルを統合するために広く用いられている。
既存の生成的再生法の多くは、モデルを制御するために単一のタスク固有のトークンのみを使用する。
本稿では,タスクの統計を取り入れて生成的再生を向上させるために,生涯学習のための新しい条件付きVAEを提案する。
論文 参考訳(メタデータ) (2022-10-14T13:12:14Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳(メタデータ) (2021-06-24T05:19:26Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z) - Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文 参考訳(メタデータ) (2020-09-30T05:19:56Z) - Online Continual Learning under Extreme Memory Constraints [40.80045285324969]
メモリ制約付きオンライン連続学習(MC-OCL)の新たな課題について紹介する。
MC-OCLは、起こりうるアルゴリズムが破滅的な忘れ物を避けるために使用できるメモリオーバーヘッドに厳格な制約を課している。
正規化に基づくCL手法であるバッチレベル蒸留(BLD)を提案する。
論文 参考訳(メタデータ) (2020-08-04T13:25:26Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - Continual Learning with Node-Importance based Adaptive Group Sparse
Regularization [30.23319528662881]
AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。
提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
論文 参考訳(メタデータ) (2020-03-30T18:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。