論文の概要: Efficient Continual Learning in Keyword Spotting using Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2505.02469v1
• Date: Mon, 05 May 2025 08:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.611018
• Title: Efficient Continual Learning in Keyword Spotting using Binary Neural Networks
• Title（参考訳）: 二元ニューラルネットワークを用いたキーワードスポッティングにおける連続学習の効率化
• Authors: Quynh Nguyen-Phuong Vu, Luciano Sebastian Martinez-Rau, Yuxuan Zhang, Nho-Duc Tran, Bengt Oelmann, Michele Magno, Sebastian Bader,
• Abstract要約: キーワードスポッティング(KWS)はユビキタススマートデバイスとのインタラクションを可能にする重要な機能である。 リソース制限されたデバイスでは、KWSモデルは多くの場合静的であり、追加のキーワードのような新しいシナリオに適応できない。 バイナリニューラルネットワーク(BNN)上に構築したKWSに対する連続学習(CL)アプローチを提案する。
• 参考スコア（独自算出の注目度）: 6.1901330413958355
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Keyword spotting (KWS) is an essential function that enables interaction with ubiquitous smart devices. However, in resource-limited devices, KWS models are often static and can thus not adapt to new scenarios, such as added keywords. To overcome this problem, we propose a Continual Learning (CL) approach for KWS built on Binary Neural Networks (BNNs). The framework leverages the reduced computation and memory requirements of BNNs while incorporating techniques that enable the seamless integration of new keywords over time. This study evaluates seven CL techniques on a 16-class use case, reporting an accuracy exceeding 95% for a single additional keyword and up to 86% for four additional classes. Sensitivity to the amount of training samples in the CL phase, and differences in computational complexities are being evaluated. These evaluations demonstrate that batch-based algorithms are more sensitive to the CL dataset size, and that differences between the computational complexities are insignificant. These findings highlight the potential of developing an effective and computationally efficient technique for continuously integrating new keywords in KWS applications that is compatible with resource-constrained devices.
• Abstract（参考訳）: キーワードスポッティング(KWS)はユビキタススマートデバイスとのインタラクションを可能にする重要な機能である。 しかし、リソース制限されたデバイスでは、KWSモデルは多くの場合静的であり、追加のキーワードのような新しいシナリオに適応できない。 そこで本研究では,バイナリニューラルネットワーク(BNN)上に構築されたKWSに対する継続学習(CL)アプローチを提案する。 このフレームワークは、BNNの計算量とメモリ要件を削減しつつ、新しいキーワードのシームレスな統合を可能にする技術を活用している。 本研究は、16種類のユースケースで7つのCL手法を評価し,1つの追加キーワードに対して95%を超える精度と4つの追加キーワードに対して最大86%の精度を報告した。 CL相におけるトレーニングサンプルの量に対する感度と計算複雑性の違いが評価されている。 これらの評価により、バッチベースのアルゴリズムはCLデータセットサイズに敏感であり、計算複雑性の違いは重要でないことが示された。 これらの知見は、リソース制約のあるデバイスと互換性のあるKWSアプリケーションにおいて、新しいキーワードを継続的に統合するための効率的で効率的な手法を開発する可能性を強調している。

関連論文リスト

• Decentralised Resource Sharing in TinyML: Wireless Bilayer Gossip Parallel SGD for Collaborative Learning [2.6913398550088483]
  本稿では,2層化ゴシップ分散並列 Descent (GDD) を提案する。 GDDは断続接続、限られた通信範囲、動的ネットワークトポロジに対処する。 我々は,CFL(Centralized Federated Learning)ベースラインに対するフレームワークの性能を評価する。
  論文  参考訳（メタデータ） (2025-01-08T20:14:07Z)
• Hyperparameters in Continual Learning: A Reality Check [53.30082523545212]
  連続学習(CL)は、可塑性(新しいタスクを学ぶ)と安定性(事前知識を保持する)のトレードオフをバランスしながら、一連のタスクでモデルを訓練することを目的としている。
  論文  参考訳（メタデータ） (2024-03-14T03:13:01Z)
• Enabling On-device Continual Learning with Binary Neural Networks [3.180732240499359]
  連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。 具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
  論文  参考訳（メタデータ） (2024-01-18T11:57:05Z)
• On-Device Learning with Binary Neural Networks [2.7040098749051635]
  我々は、最近のCL分野の進歩とBNN(Binary Neural Networks)の効率を取り入れたCLソリューションを提案する。 バックボーンとしてのバイナリネットワークの選択は、低消費電力デバイスの制約を満たすために不可欠である。
  論文  参考訳（メタデータ） (2023-08-29T13:48:35Z)
• Problem-Dependent Power of Quantum Neural Networks on Multi-Class Classification [83.20479832949069]
  量子ニューラルネットワーク(QNN)は物理世界を理解する上で重要なツールとなっているが、その利点と限界は完全には理解されていない。 本稿では,多クラス分類タスクにおけるQCの問題依存力について検討する。 我々の研究はQNNの課題依存力に光を当て、その潜在的なメリットを評価するための実践的なツールを提供する。
  論文  参考訳（メタデータ） (2022-12-29T10:46:40Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
  本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。 これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
  論文  参考訳（メタデータ） (2022-07-15T14:34:22Z)
• A New Clustering-Based Technique for the Acceleration of Deep Convolutional Networks [2.7393821783237184]
  MCA(Model Compression and Acceleration)技術は、大規模な事前学習ネットワークをより小さなモデルに変換するために用いられる。 本稿では,採用したセントロイド/表現量を増やすクラスタリングに基づく手法を提案する。 これは、被雇用者に対して特別な構造を課すことによって達成され、これは、目の前の問題の特異性によって実現される。
  論文  参考訳（メタデータ） (2021-07-19T18:22:07Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。