論文の概要: An Investigation of the Combination of Rehearsal and Knowledge Distillation in Continual Learning for Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2211.08161v2
• Date: Tue, 23 May 2023 10:04:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:03:02.167442
• Title: An Investigation of the Combination of Rehearsal and Knowledge Distillation in Continual Learning for Spoken Language Understanding
• Title（参考訳）: 音声言語理解のための継続学習におけるリハーサルと知識蒸留の組み合わせの検討
• Authors: Umberto Cappellazzo, Daniele Falavigna, Alessio Brutti
• Abstract要約: 本稿では,言語理解のためのリハーサルと知識蒸留の併用を,クラス増分学習シナリオ下で検討する。 ネットワーク内の異なるレベルにおける複数のKD組み合わせについて報告し、特徴レベルと予測レベルのKDの組み合わせが最良の結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 9.447108578893639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning refers to a dynamical framework in which a model receives a stream of non-stationary data over time and must adapt to new data while preserving previously acquired knowledge. Unluckily, neural networks fail to meet these two desiderata, incurring the so-called catastrophic forgetting phenomenon. Whereas a vast array of strategies have been proposed to attenuate forgetting in the computer vision domain, for speech-related tasks, on the other hand, there is a dearth of works. In this paper, we consider the joint use of rehearsal and knowledge distillation (KD) approaches for spoken language understanding under a class-incremental learning scenario. We report on multiple KD combinations at different levels in the network, showing that combining feature-level and predictions-level KDs leads to the best results. Finally, we provide an ablation study on the effect of the size of the rehearsal memory that corroborates the efficacy of our approach for low-resource devices.
• Abstract（参考訳）: 連続学習とは、モデルが時間とともに非定常データのストリームを受け取り、以前に取得した知識を保持しながら新しいデータに適応しなければならない動的フレームワークを指す。 不運にも、ニューラルネットワークはこれら2つのデシデラタを満たせず、いわゆる破滅的な忘れる現象を引き起こしている。 コンピュータビジョンの領域における忘れを弱めるための戦略が数多く提案されているが、音声関連のタスクについては、一方で多くの作品がある。 本稿では,言語理解のためのリハーサルと知識の蒸留(KD)の併用を,クラス増分学習シナリオ下で検討する。 ネットワーク内の異なるレベルにおける複数のKD組み合わせについて報告し、特徴レベルと予測レベルのKDの組み合わせが最良の結果をもたらすことを示す。 最後に,低リソースデバイスに対する我々のアプローチの有効性を裏付けるリハーサルメモリサイズの影響について,アブレーション研究を行った。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Contrastive Augmentation: An Unsupervised Learning Approach for Keyword Spotting in Speech Technology [4.080686348274667]
  教師なしコントラスト学習と拡張一意的手法を組み合わせた新しい手法を提案する。 我々の方法では、ニューラルネットワークがラベルのないデータセットでトレーニングすることができ、下流タスクのパフォーマンスが向上する可能性がある。 本稿では,ボトルネック層の特徴と音声再構成情報との類似性を利用した音声強化に基づく教師なし学習手法を提案する。
  論文  参考訳（メタデータ） (2024-08-31T05:40:37Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Continual Contrastive Spoken Language Understanding [33.09005399967931]
  COCONUTは、経験リプレイとコントラスト学習の組み合わせに依存するクラスインクリメンタルラーニング(CIL)手法である。 我々は,COCONUTをデコーダ側で動作するメソッドと組み合わせることで,さらなるメトリクス改善を実現することを示す。
  論文  参考訳（メタデータ） (2023-10-04T10:09:12Z)
• Advancing continual lifelong learning in neural information retrieval: definition, dataset, framework, and empirical evaluation [3.2340528215722553]
  連続的なニューラル情報検索の系統的なタスク定式化を示す。 包括的連続神経情報検索フレームワークを提案する。 経験的評価は,提案フレームワークが神経情報検索における破滅的な忘れ込みを効果的に防止できることを示唆している。
  論文  参考訳（メタデータ） (2023-08-16T14:01:25Z)
• Subspace Distillation for Continual Learning [27.22147868163214]
  本稿では,ニューラルネットワークの多様体構造を考慮した知識蒸留手法を提案する。 部分空間を用いたモデリングは、雑音に対するロバスト性など、いくつかの興味深い特性を提供することを示した。 実験により,提案手法は,いくつかの挑戦的データセットにおいて,様々な連続学習法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-07-31T05:59:09Z)
• Learning to Retain while Acquiring: Combating Distribution-Shift in Adversarial Data-Free Knowledge Distillation [31.294947552032088]
  データフリーな知識蒸留(DFKD)は、教師から学生ニューラルネットワークへの知識伝達を、訓練データがない状態で行うという基本的な考え方により、近年人気を集めている。 本稿では,メタトレインとメタテストとして,知識獲得(新たに生成されたサンプルからの学習)と知識保持(以前に得られたサンプルの知識の保持)の課題を取り扱うことで,メタ学習にインスパイアされたフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-28T03:50:56Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。