論文の概要: AnalyticKWS: Towards Exemplar-Free Analytic Class Incremental Learning for Small-footprint Keyword Spotting
- arxiv url: http://arxiv.org/abs/2505.11817v1
- Date: Sat, 17 May 2025 03:55:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.8688
- Title: AnalyticKWS: Towards Exemplar-Free Analytic Class Incremental Learning for Small-footprint Keyword Spotting
- Title（参考訳）: アナリシスKWS:スモールフットプリント型キーワードスポッティングのための初等フリー分析クラスインクリメンタルラーニングを目指して
- Authors: Yang Xiao, Tianyi Peng, Rohan Kumar Das, Yuchen Hu, Huiping Zhuang,
- Abstract要約: キーワードスポッティング(KWS)は、音声対応システムにおける音声コマンドを識別するための重要なメカニズムを提供する。
主要な問題は、モデルが以前のキーワードを認識する能力を失う、破滅的な忘れ物である。
本稿では,従来のデータを再検討することなく,モデルパラメータを更新する分析連続学習(AnalyticKWS)手法を提案する。
- 参考スコア（独自算出の注目度）: 29.303650401396997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Keyword spotting (KWS) offers a vital mechanism to identify spoken commands in voice-enabled systems, where user demands often shift, requiring models to learn new keywords continually over time. However, a major problem is catastrophic forgetting, where models lose their ability to recognize earlier keywords. Although several continual learning methods have proven their usefulness for reducing forgetting, most existing approaches depend on storing and revisiting old data to combat catastrophic forgetting. Though effective, these methods face two practical challenges: 1) privacy risks from keeping user data and 2) large memory and time consumption that limit deployment on small devices. To address these issues, we propose an exemplar-free Analytic Continual Learning (AnalyticKWS) method that updates model parameters without revisiting earlier data. Inspired by efficient learning principles, AnalyticKWS computes a closed-form analytical solution for model updates and requires only a single epoch of adaptation for incoming keywords. AnalyticKWS demands fewer computational resources by avoiding gradient-based updates and does not store old data. By eliminating the need for back-propagation during incremental learning, the model remains lightweight and efficient. As a result, AnalyticKWS meets the challenges mentioned earlier and suits resource-limited settings well. Extensive experiments on various datasets and settings show that AnalyticKWS consistently outperforms existing continual learning methods.
- Abstract（参考訳）: キーワードスポッティング(KWS)は、音声対応システムにおける音声コマンドを識別するための重要なメカニズムを提供する。
しかし、大きな問題は破滅的な忘れ込みであり、モデルが以前のキーワードを認識する能力を失っている。
いくつかの連続的な学習手法は、忘れることを減らすのに有用であることが証明されているが、既存のアプローチのほとんどは、破滅的な忘れに対処するために古いデータの保存と再考に依存している。
効果はあるものの、これらの手法は2つの実践的課題に直面している。
1)ユーザデータの保持によるプライバシーリスク
2) 小型デバイスへの展開を制限する大きなメモリと時間消費。
これらの問題に対処するために、先行データを再考することなくモデルパラメータを更新する、例のない分析連続学習(AnalyticKWS)手法を提案する。
効率的な学習原理にインスパイアされたAnalyticKWSは、モデル更新のためのクローズドフォーム分析ソリューションを計算し、入力するキーワードに適応するのにたった1つのエポックしか必要としない。
AnalyticKWSは、勾配ベースの更新を避けることで計算リソースを少なくし、古いデータを格納しない。
漸進的な学習におけるバックプロパゲーションの必要性を排除することで、モデルは軽量で効率的なままである。
その結果、AnalyticKWSは先に述べた課題に対処し、リソース制限の設定によく適合する。
様々なデータセットと設定に関する大規模な実験により、AnalyticKWSは既存の連続学習方法より一貫して優れていることが示された。
関連論文リスト
- Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。
知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。
イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Test-Time Adaptation for Combating Missing Modalities in Egocentric Videos [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language Models [37.02290559379761]
Retrieval-augmented large language model (LLMs) は、様々なNLPタスクにおいて非常に有能である。
このことに動機づけられた、適応検索拡張生成(ARAG)研究は、クエリによって要求される知識が LLM に欠如している場合にのみ検索する。
論文 参考訳（メタデータ） (2024-04-04T15:21:22Z) - EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。
本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
論文 参考訳（メタデータ） (2024-01-11T04:59:44Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳（メタデータ） (2022-12-09T13:22:27Z) - Learning from Few Examples: A Summary of Approaches to Few-Shot Learning [3.6930948691311016]
Few-Shot Learningは、いくつかのトレーニングサンプルからデータの基本パターンを学習する問題を指す。
ディープラーニングソリューションは、データ飢餓と、膨大な計算時間とリソースに悩まされている。
機械学習アプリケーション構築のターンアラウンド時間を劇的に短縮できるようなショットラーニングは、低コストのソリューションとして現れます。
論文 参考訳（メタデータ） (2022-03-07T23:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。