論文の概要: A 14uJ/Decision Keyword Spotting Accelerator with In-SRAM-Computing and On Chip Learning for Customization

• arxiv url: http://arxiv.org/abs/2205.04665v1
• Date: Tue, 10 May 2022 04:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-14 20:19:53.270189
• Title: A 14uJ/Decision Keyword Spotting Accelerator with In-SRAM-Computing and On Chip Learning for Customization
• Title（参考訳）: A 14uJ/Decision Keyword Spotting Accelerator with In-SRAM-Computing and On Chip Learning for Customization
• Authors: Yu-Hsiang Chiang, Tian-Sheuan Chang and Shyh Jye Jou
• Abstract要約: 本稿では,ユーザカスタマイズのためのオンチップ学習による低消費電力でエネルギー効率のキーワードスポッティングアクセラレータについて述べる。 ユーザのカスタマイズにより、精度の損失を51.08%から89.76%に回復できる。 チップの実装は、決定毎にわずか14$uJ$でモデルを実行することができる。
• 参考スコア（独自算出の注目度）: 0.10547353841674209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Keyword spotting has gained popularity as a natural way to interact with consumer devices in recent years. However, because of its always-on nature and the variety of speech, it necessitates a low-power design as well as user customization. This paper describes a low-power, energy-efficient keyword spotting accelerator with SRAM based in-memory computing (IMC) and on-chip learning for user customization. However, IMC is constrained by macro size, limited precision, and non-ideal effects. To address the issues mentioned above, this paper proposes bias compensation and fine-tuning using an IMC-aware model design. Furthermore, because learning with low-precision edge devices results in zero error and gradient values due to quantization, this paper proposes error scaling and small gradient accumulation to achieve the same accuracy as ideal model training. The simulation results show that with user customization, we can recover the accuracy loss from 51.08\% to 89.76\% with compensation and fine-tuning and further improve to 96.71\% with customization. The chip implementation can successfully run the model with only 14$uJ$ per decision. When compared to the state-of-the-art works, the presented design has higher energy efficiency with additional on-chip model customization capabilities for higher accuracy.
• Abstract（参考訳）: 近年、キーワードスポッティングは消費者デバイスと対話する自然な方法として人気が高まっている。 しかし、常にオンになっている性質と音声の多様性から、低消費電力なデザインとユーザーカスタマイズが必要となる。 本稿では,SRAMベースのインメモリコンピューティング(IMC)とユーザカスタマイズのためのオンチップ学習を用いた低消費電力,エネルギー効率のキーワードスポッティングアクセラレータについて述べる。 しかし、IMCはマクロサイズ、限られた精度、非理想効果に制約されている。 上記の問題に対処するために,IMC対応モデル設計を用いたバイアス補償と微調整を提案する。 さらに,低精度エッジデバイスを用いた学習では量子化による誤差や勾配値がゼロとなるため,誤差スケーリングと小さな勾配蓄積を提案し,理想的なモデルトレーニングと同じ精度を実現する。 シミュレーションの結果,ユーザのカスタマイズにより,補正と微調整により精度損失を51.08\%から89.76\%に回復し,カスタマイズにより96.71\%に改善できることがわかった。 チップの実装は、決定当たり14ドルuj$でモデルの実行を成功させる。 最新技術と比較すると、より高精度なオンチップモデルカスタマイズ機能を備えた高効率な設計となる。
• 全文 参考訳へのリンク

関連論文リスト

• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• How Low Can We Go: Trading Memory for Error in Low-Precision Training [52.94003953419242]
  低精度算術は、少ないエネルギー、少ないメモリ、少ない時間でディープラーニングモデルを訓練する。 私たちは貯金の代償を支払っている: 精度の低い方がラウンドオフエラーが大きくなり、したがって予測エラーが大きくなる可能性がある。 私たちはメタラーニングのアイデアを借りて、メモリとエラーのトレードオフを学びます。
  論文  参考訳（メタデータ） (2021-06-17T17:38:07Z)
• MetricOpt: Learning to Optimize Black-Box Evaluation Metrics [21.608384691401238]
  誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。 MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。 我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
  論文  参考訳（メタデータ） (2021-04-21T16:50:01Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Reduced Precision Strategies for Deep Learning: A High Energy Physics Generative Adversarial Network Use Case [0.19788841311033123]
  ディープラーニングをより効率的にするための有望なアプローチは、ニューラルネットワークのパラメータを量子化し、精度を下げることである。 本稿では,複雑な深層生成型逆ネットワークモデルに対する低精度推論の効果を解析する。
  論文  参考訳（メタデータ） (2021-03-18T10:20:23Z)
• Quantization-Guided Training for Compact TinyML Models [8.266286436571887]
  最適化された低ビット精度目標に対してDNNトレーニングを導くためのQGT(Quantization Guided Training)手法を提案する。 QGTはカスタマイズされた正規化を使用して、量子化エラーを減らしながら精度を最大化する分布に向けて重み値を促進する。
  論文  参考訳（メタデータ） (2021-03-10T18:06:05Z)
• Online Body Schema Adaptation through Cost-Sensitive Active Learning [63.84207660737483]
  この作業は、icubロボットシミュレータの7dofアームを使用して、シミュレーション環境で実行された。 コストに敏感な能動学習手法は最適な関節構成を選択するために用いられる。 その結果,コスト依存型能動学習は標準的な能動学習手法と同等の精度を示し,実行運動の約半分を減らした。
  論文  参考訳（メタデータ） (2021-01-26T16:01:02Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• AttentionLite: Towards Efficient Self-Attention Models for Vision [9.957033392865982]
  本稿では,リソース制約のあるアプリケーションに対して,パラメータのクラスを生成・計算するための新しいフレームワークである attentionliteable を提案する。 計算量の多い教師から知識を同時蒸留でき、同時に学生モデルを1回の訓練パスで刈り取ることができる。
  論文  参考訳（メタデータ） (2020-12-21T17:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。