論文の概要: ETHEREAL: Energy-efficient and High-throughput Inference using Compressed Tsetlin Machine
- arxiv url: http://arxiv.org/abs/2502.05640v1
- Date: Sat, 08 Feb 2025 16:58:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:30:47.617186
- Title: ETHEREAL: Energy-efficient and High-throughput Inference using Compressed Tsetlin Machine
- Title（参考訳）: ETHEREAL:圧縮マシーンを用いたエネルギー効率・高スループット推論
- Authors: Shengyu Duan, Rishad Shafik, Alex Yakovlev,
- Abstract要約: Tsetlin Machine(TM)はディープニューラルネットワーク(DNN)に代わる新しい選択肢である
本稿では,排除されたオートマトン状態を用いて,肯定句と否定句の両方でTM論理パターンをスパース化するトレーニング手法を提案する。
標準のTMと比較して、ETHEREAL TMモデルはモデルサイズを最大87.54%削減できる。
- 参考スコア（独自算出の注目度）: 0.3121107735397556
- License:
- Abstract: The Tsetlin Machine (TM) is a novel alternative to deep neural networks (DNNs). Unlike DNNs, which rely on multi-path arithmetic operations, a TM learns propositional logic patterns from data literals using Tsetlin automata. This fundamental shift from arithmetic to logic underpinning makes TM suitable for empowering new applications with low-cost implementations. In TM, literals are often included by both positive and negative clauses within the same class, canceling out their impact on individual class definitions. This property can be exploited to develop compressed TM models, enabling energy-efficient and high-throughput inferences for machine learning (ML) applications. We introduce a training approach that incorporates excluded automata states to sparsify TM logic patterns in both positive and negative clauses. This exclusion is iterative, ensuring that highly class-correlated (and therefore significant) literals are retained in the compressed inference model, ETHEREAL, to maintain strong classification accuracy. Compared to standard TMs, ETHEREAL TM models can reduce model size by up to 87.54%, with only a minor accuracy compromise. We validate the impact of this compression on eight real-world Tiny machine learning (TinyML) datasets against standard TM, equivalent Random Forest (RF) and Binarized Neural Network (BNN) on the STM32F746G-DISCO platform. Our results show that ETHEREAL TM models achieve over an order of magnitude reduction in inference time (resulting in higher throughput) and energy consumption compared to BNNs, while maintaining a significantly smaller memory footprint compared to RFs.
- Abstract（参考訳）: Tsetlin Machine (TM) はディープニューラルネットワーク(DNN)の代替品である。
マルチパス演算に依存するDNNとは異なり、TMはTsetlin Automaticaを用いてデータリテラルから命題論理パターンを学習する。
この算術から論理基盤への根本的なシフトは、TMを低コストな実装で新しいアプリケーションを強化するのに適している。
TMでは、リテラルは、しばしば同じクラス内の正節と負節の両方に含まれ、個々のクラス定義への影響をキャンセルする。
この特性を利用して圧縮TMモデルを開発し、機械学習(ML)アプリケーションに対するエネルギー効率と高スループットの推論を可能にする。
本稿では,排除されたオートマトン状態を用いて,肯定句と否定句の両方でTM論理パターンをスパース化するトレーニング手法を提案する。
この除外は反復的であり、高いクラス関連(したがって重要な)リテラルが強い分類精度を維持するために圧縮推論モデルETHEREALに保持されることを保証する。
標準のTMと比較して、ETHEREAL TMモデルはモデルサイズを最大87.54%削減できる。
STM32F746G-DISCOプラットフォーム上で、この圧縮が標準TM、等価ランダムフォレスト(RF)およびバイナリニューラルネットワーク(BNN)に対する8つのリアルタイムTinyMLデータセットに与える影響を検証する。
以上の結果から,ETHEREAL TMモデルでは,BNNに比べて推定時間とエネルギー消費量が大幅に減少する一方,RFに比べてメモリフットプリントが大幅に小さいことが示唆された。
関連論文リスト
- Large Language Model Evaluation via Matrix Nuclear-Norm [11.878496378814045]
本稿では,大規模言語モデル(LLM)のデータ圧縮精度を定量化するための指標として,マトリックス核ノルムを紹介する。
さらに、(L_1,2text-norm )を用いて核ノルムを近似することにより、モデルの情報圧縮能力を効果的に評価できる。
マトリックス核ノームは、CEREBRAS-GPTモデルにおいて、サイズが111Mから6.7Bに増加するにつれて、マトリックスエントロピーの8倍から24倍の速度を達成する。
論文 参考訳（メタデータ） (2024-10-14T16:15:57Z) - Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。
その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。
取り出したノイズペアはモデル性能を劇的に低下させる。
ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
論文 参考訳（メタデータ） (2022-10-17T07:43:39Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳（メタデータ） (2022-09-01T17:05:20Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳（メタデータ） (2022-08-28T17:50:19Z) - Integrating Random Effects in Deep Neural Networks [4.860671253873579]
深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。
相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。
LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
論文 参考訳（メタデータ） (2022-06-07T14:02:24Z) - Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
論文 参考訳（メタデータ） (2022-04-13T05:46:31Z) - Parameter estimation for WMTI-Watson model of white matter using
encoder-decoder recurrent neural network [0.0]
本研究では,ラットおよびヒト脳のデータセット上でのNLLS,RNN法および多層パーセプトロン(MLP)の性能を評価する。
提案手法は,NLLSよりも計算時間を大幅に短縮できるという利点を示した。
論文 参考訳（メタデータ） (2022-03-01T16:33:15Z) - Robustness Certificates for Implicit Neural Networks: A Mixed Monotone
Contractive Approach [60.67748036747221]
暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。
入力逆流の摂動に関して、それらは不安定なままである。
本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
論文 参考訳（メタデータ） (2021-12-10T03:08:55Z) - Tied & Reduced RNN-T Decoder [0.0]
認識性能を低下させることなく,RNN-Tデコーダ(予測ネットワーク+ジョイントネットワーク)の小型化と高速化を図る。
我々の予測ネットワークは入力埋め込みの簡単な重み付けを行い、その埋め込み行列重みを結合ネットワークの出力層と共有する。
このシンプルな設計は、追加の編集ベースの最小ベイズリスク(EMBR)トレーニングと併用することで、ワードエラー率(WER)に影響を与えることなく、RNN-Tデコーダを23Mパラメータから2Mに削減する。
論文 参考訳（メタデータ） (2021-09-15T18:19:16Z) - On Minimum Word Error Rate Training of the Hybrid Autoregressive
Transducer [40.63693071222628]
ハイブリッド自己回帰変換器(HAT)の最小単語誤り率(MWER)訓練について検討する。
約3万時間のトレーニングデータを用いた実験から,MWERトレーニングがHATモデルの精度を向上させることを示す。
論文 参考訳（メタデータ） (2020-10-23T21:16:30Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。