論文の概要: Small-footprint slimmable networks for keyword spotting
- arxiv url: http://arxiv.org/abs/2304.12183v1
- Date: Fri, 21 Apr 2023 12:59:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 14:24:41.416359
- Title: Small-footprint slimmable networks for keyword spotting
- Title（参考訳）: キーワードスポッティングのための小足プリントスリム化ネットワーク
- Authors: Zuhaib Akhtar, Mohammad Omar Khursheed, Dongsu Du, Yuzong Liu
- Abstract要約: 我々は、スリムなニューラルネットワークによって、Convolutioanl Neural NetworksとTransformerからスーパーネットを作成することができることを示した。
これらのモデルが社内のAlexaデータとGoogle Speech Commandsで有用であることを示し、オンデバイスユースケースのモデルに注力する。
- 参考スコア（独自算出の注目度）: 3.0825815617887415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we present Slimmable Neural Networks applied to the problem of
small-footprint keyword spotting. We show that slimmable neural networks allow
us to create super-nets from Convolutioanl Neural Networks and Transformers,
from which sub-networks of different sizes can be extracted. We demonstrate the
usefulness of these models on in-house Alexa data and Google Speech Commands,
and focus our efforts on models for the on-device use case, limiting ourselves
to less than 250k parameters. We show that slimmable models can match (and in
some cases, outperform) models trained from scratch. Slimmable neural networks
are therefore a class of models particularly useful when the same functionality
is to be replicated at different memory and compute budgets, with different
accuracy requirements.
- Abstract（参考訳）: 本研究では,スリム化可能なニューラルネットワークを,スリムプリントキーワードスポッティング問題に適用する。
我々は、スリム化可能なニューラルネットワークによって、Convolutioanl Neural NetworksとTransformersからスーパーネットを作成できることを示し、そこから異なるサイズのサブネットワークを抽出することができる。
これらのモデルの有用性を、社内のAlexaデータとGoogle Speech Commandsで実証し、オンデバイスユースケースのモデルに注力し、自らを250k未満のパラメータに制限します。
我々は、スリム化可能なモデルが、スクラッチからトレーニングされたモデルと(場合によっては)一致できることを示します。
したがって、スリムなニューラルネットワークは、異なるメモリと計算予算で同じ機能を再現するために、異なる精度要件で特に有用なモデルのクラスである。
関連論文リスト
- Residual Random Neural Networks [0.0]
ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。
隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
論文 参考訳（メタデータ） (2024-10-25T22:00:11Z) - Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Neural Network Parameter Diffusion [50.85251415173792]
拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。
本研究は拡散モデルにも適用可能であることを示す。
高性能なニューラルネットワークパラメータを生成する。
論文 参考訳（メタデータ） (2024-02-20T16:59:03Z) - LowDINO -- A Low Parameter Self Supervised Learning Model [0.0]
本研究は,小規模ネットワークが巨大ネットワークの特性を活用可能なニューラルネットワークアーキテクチャの設計の可能性を検討することを目的とする。
これまでの研究では、畳み込みニューラルネットワーク(ConvNet)を使用することで、固有の帰納バイアスが得られることが示されている。
パラメータの数を減らすために、MobileViTブロックを使用してアテンションメカニズムを利用する。
論文 参考訳（メタデータ） (2023-05-28T18:34:59Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Recurrent neural networks that generalize from examples and optimize by
dreaming [0.0]
オンライン学習のためのHebbの処方則に従って,ニューロン間のペア結合が構築される一般化されたホップフィールドネットワークを導入する。
ネットワークエクスペリエンスは、パターン毎にノイズの多いサンプルのサンプルで構成されたデータセットに過ぎません。
注目すべきは、睡眠メカニズムが常に正しく一般化するために必要なデータセットサイズを著しく削減することです。
論文 参考訳（メタデータ） (2022-04-17T08:40:54Z) - Network Augmentation for Tiny Deep Learning [73.57192520534585]
ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。
画像分類と物体検出におけるNetAugの有効性を示す。
論文 参考訳（メタデータ） (2021-10-17T18:48:41Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。