論文の概要: Mitigating Catastrophic Forgetting for Few-Shot Spoken Word
Classification Through Meta-Learning
- arxiv url: http://arxiv.org/abs/2305.13080v1
- Date: Mon, 22 May 2023 14:51:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 15:14:53.498597
- Title: Mitigating Catastrophic Forgetting for Few-Shot Spoken Word
Classification Through Meta-Learning
- Title（参考訳）: メタラーニングによる音声単語分類におけるカタストロフィック・フォーミングの緩和
- Authors: Ruan van der Merwe and Herman Kamper
- Abstract要約: モデルが新たな単語クラスに漸進的に導入されるような環境では,数発の音声単語分類の問題を考える。
モデルに依存しないメタラーニング(MAML)の拡張を提案する。
提案手法は,ショット数とクラス数が異なる実験において,OMLよりも一貫して優れる。
- 参考スコア（独自算出の注目度）: 23.822788597966646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of few-shot spoken word classification in a setting
where a model is incrementally introduced to new word classes. This would occur
in a user-defined keyword system where new words can be added as the system is
used. In such a continual learning scenario, a model might start to misclassify
earlier words as newer classes are added, i.e. catastrophic forgetting. To
address this, we propose an extension to model-agnostic meta-learning (MAML):
each inner learning loop, where a model "learns how to learn'' new classes,
ends with a single gradient update using stored templates from all the classes
that the model has already seen (one template per class). We compare this
method to OML (another extension of MAML) in few-shot isolated-word
classification experiments on Google Commands and FACC. Our method consistently
outperforms OML in experiments where the number of shots and the final number
of classes are varied.
- Abstract（参考訳）: モデルが新しい単語クラスに漸進的に導入される環境では, 音声単語分類の問題点を考える。
これは、ユーザ定義のキーワードシステムで、システムの使用時に新しい単語を追加することができる。
このような連続的な学習シナリオでは、新しいクラスが追加されるにつれて、モデルは以前の単語を誤って分類し始める。
この問題を解決するために、モデルに依存しないメタラーニング(MAML)の拡張を提案する。各内部学習ループでは、モデルが"新しいクラスを学習する方法を学習する"ために、モデルがすでに見たすべてのクラス(クラス毎に1つのテンプレート)から保存されたテンプレートを使用して、単一の勾配更新を行う。
我々は,この手法を,Google Commands と FACC の孤立語分類実験において,OML (MAML の別の拡張) と比較した。
提案手法は,ショット数とクラス数が異なる実験において,OMLよりも一貫して優れる。
関連論文リスト
- Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。
意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。
グループ化されたサブワードの検査では 様々な意味的類似性を示します
論文 参考訳（メタデータ） (2024-11-07T08:38:32Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
本稿では,新たな単語認識のための自己教師付き連続学習手法を提案する。
過去の研究から,メモリ拡張型自動音声認識モデルを用いた。
提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-01-09T10:39:17Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - FILM: How can Few-Shot Image Classification Benefit from Pre-Trained
Language Models? [14.582209994281374]
少数のサンプルしか持たない新しいクラスに一般化可能なモデルをトレーニングすることを目的としている。
コントラスト学習に基づく事前学習言語モデルを用いた新しい数発学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-09T08:07:43Z) - Multi-Modal Few-Shot Object Detection with Meta-Learning-Based
Cross-Modal Prompting [77.69172089359606]
本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。
我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。
提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
論文 参考訳（メタデータ） (2022-04-16T16:45:06Z) - MGIMN: Multi-Grained Interactive Matching Network for Few-shot Text
Classification [9.9875634964736]
テキスト分類は、クラスごとにラベル付きテキストインスタンスがほとんどない、目に見えないクラスに一般化するのに苦労する。
本稿では,メタラーニングに基づくMGIMNを提案する。
論文 参考訳（メタデータ） (2022-04-11T08:58:55Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - Explaining Classes through Word Attribution [1.3898207083070262]
本稿では,ディープラーニングモデルと統合グラディエンツ特徴帰属手法を用いた授業記述手法を提案する。
我々は、XML-Rモデルとコーパス・オブ・オンライン・レジスタ・オブ・イングリッシュ(CORE)を用いたWebレジスタ(ジェネラル)分類のアプローチを実証する。
論文 参考訳（メタデータ） (2021-08-31T07:22:29Z) - How to Train Your MAML to Excel in Few-Shot Classification [26.51244463209443]
そこで本研究では,MAMLの訓練方法について紹介する。
我々のアプローチはUNICORN-MAMLと呼ばれ、最先端のアルゴリズムに匹敵する、あるいは性能に優れる。
論文 参考訳（メタデータ） (2021-06-30T17:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。