論文の概要: Progressive Continual Learning for Spoken Keyword Spotting
- arxiv url: http://arxiv.org/abs/2201.12546v1
- Date: Sat, 29 Jan 2022 10:08:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 17:27:45.731045
- Title: Progressive Continual Learning for Spoken Keyword Spotting
- Title（参考訳）: 音声キーワードスポッティングのための逐次学習
- Authors: Yizheng Huang, Nana Hou, Nancy F. Chen
- Abstract要約: 小型音声キーワードスポッティング(PCL-KWS)のための逐次学習戦略を提案する。
PCL-KWSフレームワークは、以前に学習したキーワードを記憶するためのタスク固有のサブネットワークを生成するネットワークインスタンスを導入している。
実験の結果,5つのタスクを逐次学習した後,提案手法は92.8%の精度で新しい最先端性能をアーカイブすることがわかった。
- 参考スコア（独自算出の注目度）: 26.36405963104939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Catastrophic forgetting is a thorny challenge when updating keyword spotting
(KWS) models after deployment. To tackle such challenges, we propose a
progressive continual learning strategy for small-footprint spoken keyword
spotting (PCL-KWS). Specifically, the proposed PCL-KWS framework introduces a
network instantiator to generate the task-specific sub-networks for remembering
previously learned keywords. As a result, the PCL-KWS approach incrementally
learns new keywords without forgetting prior knowledge. Besides, the
keyword-aware network scaling mechanism of PCL-KWS constrains the growth of
model parameters while achieving high performance. Experimental results show
that after learning five new tasks sequentially, our proposed PCL-KWS approach
archives the new state-of-the-art performance of 92.8% average accuracy for all
the tasks on Google Speech Command dataset compared with other baselines.
- Abstract（参考訳）: 破滅的な忘れは、デプロイ後にキーワードスポッティング(KWS)モデルを更新する際の厄介な課題である。
このような課題に対処するため,我々は,PCL-KWS (Small-footprint spoken keyword spotting) のための逐次学習戦略を提案する。
特に,提案するPCL-KWSフレームワークでは,以前に学習したキーワードを記憶するためのタスク固有のサブネットワークを生成するネットワークインスタンスが導入された。
その結果、PCL-KWSアプローチは、事前知識を忘れることなく、新たなキーワードを漸進的に学習する。
さらに,PCL-KWSのキーワード対応ネットワークスケーリング機構は,高い性能を保ちながらモデルパラメータの増大を抑制する。
実験の結果,提案したPCL-KWSアプローチは,5つの新しいタスクを逐次学習した後で,Google Speech Commandデータセット上のタスクの平均精度92.8%を,他のベースラインと比較してアーカイブした。
関連論文リスト
- Contrastive Augmentation: An Unsupervised Learning Approach for Keyword Spotting in Speech Technology [4.080686348274667]
教師なしコントラスト学習と拡張一意的手法を組み合わせた新しい手法を提案する。
我々の方法では、ニューラルネットワークがラベルのないデータセットでトレーニングすることができ、下流タスクのパフォーマンスが向上する可能性がある。
本稿では,ボトルネック層の特徴と音声再構成情報との類似性を利用した音声強化に基づく教師なし学習手法を提案する。
論文 参考訳（メタデータ） (2024-08-31T05:40:37Z) - KOPPA: Improving Prompt-based Continual Learning with Key-Query Orthogonal Projection and Prototype-based One-Versus-All [24.50129285997307]
本稿では,新しいキークエリ学習戦略を導入し,マッチング効率を向上し,機能変更の課題に対処する。
提案手法は,現在の最先端手法を最大20%の差で超えた結果を達成するためのモデルである。
論文 参考訳（メタデータ） (2023-11-26T20:35:19Z) - KRLS: Improving End-to-End Response Generation in Task Oriented Dialog
with Reinforced Keywords Learning [25.421649004269373]
タスク指向ダイアログ(TOD)では、強化学習アルゴリズムがタスク関連メトリクスの応答を直接最適化するためにモデルを訓練する。
オフライン環境でのTOD性能を改善するために,より効率的なRLベースのアルゴリズムを提案する。
MultiWoZデータセットの実験では、我々の新しいトレーニングアルゴリズムであるKeywords Reinforcement Learning with Next-word Smpling (KRLS)が最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-11-30T06:27:46Z) - On the Efficiency of Integrating Self-supervised Learning and
Meta-learning for User-defined Few-shot Keyword Spotting [51.41426141283203]
ユーザ定義キーワードスポッティングは、ユーザが定義する新しい音声用語を検出するタスクである。
これまでの研究は、自己教師付き学習モデルを取り入れたり、メタ学習アルゴリズムを適用しようとするものだった。
この結果から,HuBERTとMatching Networkを組み合わせることで,最適な結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-04-01T10:59:39Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳（メタデータ） (2021-09-10T03:23:06Z) - Teaching keyword spotters to spot new keywords with limited examples [6.251896411370577]
多数のキーワードを認識するタスクに基づいて事前学習した音声埋め込みモデルであるKeySEMを提案する。
KeySEMは、デプロイ後の学習とカスタマイズの容易さが望ましいオンデバイス環境に適している。
論文 参考訳（メタデータ） (2021-06-04T12:43:36Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳（メタデータ） (2021-04-14T06:30:36Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Keyphrase Extraction with Dynamic Graph Convolutional Networks and
Diversified Inference [50.768682650658384]
キーワード抽出(KE)は、ある文書でカバーされている概念やトピックを正確に表現するフレーズの集合を要約することを目的としている。
最近のシークエンス・ツー・シークエンス(Seq2Seq)ベースの生成フレームワークはKEタスクで広く使われ、様々なベンチマークで競合性能を得た。
本稿では,この2つの問題を同時に解くために,動的グラフ畳み込みネットワーク(DGCN)を採用することを提案する。
論文 参考訳（メタデータ） (2020-10-24T08:11:23Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳（メタデータ） (2020-05-11T09:53:36Z) - Small-Footprint Open-Vocabulary Keyword Spotting with Quantized LSTM
Networks [3.8382752162527933]
本稿では,オープン語彙のキーワードスポッティング手法に着目し,モデル全体を再トレーニングすることなく,ユーザが独自のキーワードを定義できるようにする。
ユーザ定義キーワードの任意のセットに対して,小さなデバイス上で動作可能な高速かつ小型のフットプリントシステムを実現するための,さまざまな設計選択について説明する。
論文 参考訳（メタデータ） (2020-02-25T13:27:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。