論文の概要: Exploring the Joint Use of Rehearsal and Knowledge Distillation in
Continual Learning for Spoken Language Understanding
- arxiv url: http://arxiv.org/abs/2211.08161v1
- Date: Tue, 15 Nov 2022 14:15:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:56:14.306492
- Title: Exploring the Joint Use of Rehearsal and Knowledge Distillation in
Continual Learning for Spoken Language Understanding
- Title(参考訳): 音声言語理解のための継続学習におけるリハーサルと知識蒸留の併用の検討
- Authors: Umberto Cappellazzo, Daniele Falavigna, Alessio Brutti
- Abstract要約: 連続学習とは、モデルやエージェントが時間とともに非定常データのストリームを受信する動的フレームワークを指す。
ディープ・ニューラル・ネットワークはこれら2つのデシデラタを満たさず、いわゆる破滅的な忘れ物現象を引き起こした。
ネットワーク内の異なるレベルにおける複数のKD組み合わせについて報告し、特徴レベルと予測レベルのKDの組み合わせが最良の結果をもたらすことを示す。
- 参考スコア(独自算出の注目度): 9.447108578893639
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning refers to a dynamical framework in which a model or agent
receives a stream of non-stationary data over time and must adapt to new data
while preserving previously acquired knowledge. Unfortunately, deep neural
networks fail to meet these two desiderata, incurring the so-called
catastrophic forgetting phenomenon. Whereas a vast array of strategies have
been proposed to attenuate forgetting in the computer vision domain, for
speech-related tasks, on the other hand, there is a dearth of works. In this
paper, we turn our attention toward the joint use of rehearsal and knowledge
distillation (KD) approaches for spoken language understanding under a
class-incremental learning scenario. We report on multiple KD combinations at
different levels in the network, showing that combining feature-level and
predictions-level KDs leads to the best results. Finally, we provide an
ablation study on the effect of the size of the rehearsal memory that
corroborates the appropriateness of our approach for low-resource devices.
- Abstract(参考訳): 連続学習は、モデルまたはエージェントが時間とともに静止しないデータのストリームを受け取り、以前に取得した知識を保持しながら新しいデータに適応しなければならない動的なフレームワークを指す。
残念ながら、ディープニューラルネットワークはこれら2つのデシデラータを満たせず、いわゆる破滅的な忘れる現象を引き起こしている。
コンピュータビジョンの領域における忘れを弱めるための戦略が数多く提案されているが、音声関連のタスクについては、一方で多くの作品がある。
本稿では,リハーサル・ナレッジ蒸留 (kd) の授業学習シナリオにおける音声言語理解へのアプローチについて考察する。
ネットワーク内の異なるレベルにおける複数のKD組み合わせについて報告し、特徴レベルと予測レベルのKDの組み合わせが最良の結果をもたらすことを示す。
最後に、低リソースデバイスに対する我々のアプローチの妥当性を裏付けるリハーサルメモリのサイズの影響について、アブレーション研究を行った。
関連論文リスト
- Continual Contrastive Spoken Language Understanding [35.06274474639964]
COCONUTは、経験リプレイとコントラスト学習の組み合わせに依存するクラスインクリメンタルラーニング(CIL)手法である。
我々は,COCONUTをデコーダ側で動作するメソッドと組み合わせることで,さらなるメトリクス改善を実現することを示す。
論文 参考訳(メタデータ) (2023-10-04T10:09:12Z) - Advancing continual lifelong learning in neural information retrieval:
definition, dataset, framework, and empirical evaluation [3.63475127126282]
連続的なニューラル情報検索の系統的なタスク定式化を示す。
包括的連続神経情報検索フレームワークを提案する。
経験的評価は,提案フレームワークが神経情報検索における破滅的な忘れ込みを効果的に防止できることを示唆している。
論文 参考訳(メタデータ) (2023-08-16T14:01:25Z) - Subspace Distillation for Continual Learning [27.22147868163214]
本稿では,ニューラルネットワークの多様体構造を考慮した知識蒸留手法を提案する。
部分空間を用いたモデリングは、雑音に対するロバスト性など、いくつかの興味深い特性を提供することを示した。
実験により,提案手法は,いくつかの挑戦的データセットにおいて,様々な連続学習法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-07-31T05:59:09Z) - Learning to Retain while Acquiring: Combating Distribution-Shift in
Adversarial Data-Free Knowledge Distillation [31.294947552032088]
データフリーな知識蒸留(DFKD)は、教師から学生ニューラルネットワークへの知識伝達を、訓練データがない状態で行うという基本的な考え方により、近年人気を集めている。
本稿では,メタトレインとメタテストとして,知識獲得(新たに生成されたサンプルからの学習)と知識保持(以前に得られたサンプルの知識の保持)の課題を取り扱うことで,メタ学習にインスパイアされたフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-28T03:50:56Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-12T20:44:09Z) - LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。
タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。
クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
論文 参考訳(メタデータ) (2022-04-12T12:25:05Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳(メタデータ) (2021-07-23T06:57:08Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Continual Learning for Natural Language Generation in Task-oriented
Dialog Systems [72.92029584113676]
自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。
我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。
この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
論文 参考訳(メタデータ) (2020-10-02T10:32:29Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳(メタデータ) (2020-09-24T15:40:55Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳(メタデータ) (2020-09-13T21:12:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。