論文の概要: TsetlinWiSARD: On-Chip Training of Weightless Neural Networks using Tsetlin Automata on FPGAs
- arxiv url: http://arxiv.org/abs/2603.24186v1
- Date: Wed, 25 Mar 2026 11:08:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:11.254672
- Title: TsetlinWiSARD: On-Chip Training of Weightless Neural Networks using Tsetlin Automata on FPGAs
- Title（参考訳）: TsetlinWiSARD:FPGA上でのTsetlin Automataを用いた軽量ニューラルネットワークのオンチップトレーニング
- Authors: Shengyu Duan, Marcos L. L. Sartori, Rishad Shafik, Alex Yakovlev,
- Abstract要約: We propose TsetlinWiSARD, a training approach for Weightless Neural Network (WNN)。
WiSARDのワンショットトレーニングと反復最適化のオーバーフィットを克服し、効率的なオンチップトレーニングのために、単純で継続的なバイナリフィードバックを維持している。
我々の手法は従来のWNNのWiSARD実装と比較して1000倍以上の高速なトレーニングを提供する。
- 参考スコア（独自算出の注目度）: 0.4499833362998488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Increasing demands for adaptability, privacy, and security at the edge have persistently pushed the frontiers for a new generation of machine learning (ML) algorithms with training and inference capabilities on-chip. Weightless Neural Network (WNN) is such an algorithm that is principled on lookup table based simple neuron structures. As a result, it offers architectural benefits, such as low-latency, low-complexity inference, compared to deep neural networks that depend heavily on multiply-accumulate operations. However, traditional WNNs rely on memorization-based one-shot training, which either leads to overfitting and reduced accuracy or requires tedious post-training adjustments, limiting their effectiveness for efficient on chip training. In this work, we propose TsetlinWiSARD, a training approach for WNNs that leverages Tsetlin Automata (TAs) to enable probabilistic, feedback-driven learning. It overcomes the overfitting of WiSARD's one-shot training with iterative optimization, while maintaining simple, continuous binary feedback for efficient on-chip training. Central to our approach is a field programmable gate array (FPGA)-based training architecture that delivers state-of-the-art accuracy while significantly improving hardware efficiency. Our approach provides over 1000x faster training when compared with the traditional WiSARD implementation of WNNs. Further, we demonstrate 22% reduced resource usage, 93.3% lower latency, and 64.2% lower power consumption compared to FPGA-based training accelerators implementing other ML algorithms.
- Abstract（参考訳）: エッジにおける適応性、プライバシ、セキュリティに対する要求の増加は、トレーニングと推論機能を備えた新しい世代の機械学習(ML)アルゴリズムのフロンティアを継続的に押し付けている。
ウェイトレスニューラルネットワーク(WNN)は、ルックアップテーブルに基づく単純なニューロン構造を基本としたアルゴリズムである。
結果として、マルチプライ累積演算に大きく依存するディープニューラルネットワークと比較して、低レイテンシ、低複雑性推論などのアーキテクチャ上のメリットを提供する。
しかし、従来のWNNは暗記ベースのワンショットトレーニングに依存しており、過度な適合と精度の低下につながるか、トレーニング後の面倒な調整が必要で、チップトレーニングの効率を抑えることができる。
本研究では,Tsetlin Automata(TA)を活用したWNNの学習手法であるTsetlinWiSARDを提案する。
WiSARDのワンショットトレーニングと反復最適化のオーバーフィットを克服し、効率的なオンチップトレーニングのために、単純で継続的なバイナリフィードバックを維持している。
我々のアプローチの中心は、フィールドプログラマブルゲートアレイ(FPGA)ベースのトレーニングアーキテクチャで、最先端の精度を提供しながら、ハードウェア効率を大幅に改善する。
我々の手法は従来のWNNのWiSARD実装と比較して1000倍以上の高速なトレーニングを提供する。
さらに、他の機械学習アルゴリズムを実装するFPGAベースのトレーニングアクセラレータと比較して、22%のリソース使用量、93.3%のレイテンシ、64.2%の消費電力を削減した。
関連論文リスト
- Dynamic Tsetlin Machine Accelerators for On-Chip Training at the Edge using FPGAs [0.3440236962613469]
本稿では,Deep Neural Networks (DNN) の代替として,動的Tsetlin Machine (DTM) トレーニングアクセラレータを提案する。
DTMは、より少ない乗算累積で微分計算を欠いた訓練を行う。
提案された加速器は、Watt毎の毎秒2.54倍のギガ演算(GOP/s/W)を提供し、次の同等の設計よりも6倍少ない電力を使用する。
論文 参考訳（メタデータ） (2025-04-28T13:38:53Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。
次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。
また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
論文 参考訳（メタデータ） (2022-03-11T01:32:03Z) - Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。
この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-03-25T17:43:04Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [62.932299614630985]
本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - An FPGA-Based On-Device Reinforcement Learning Approach using Online
Sequential Learning [2.99321624683618]
低コストFPGAデバイスのための軽量デバイス強化学習手法を提案する。
バックプロパゲーションメソッドに依存しないオンデバイスラーニングアプローチに基づく、最近提案されたニューラルネットワークを活用する。
提案手法は低コストFPGAプラットフォームとしてPYNQ-Z1ボード用に設計されている。
論文 参考訳（メタデータ） (2020-05-10T12:37:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。