論文の概要: MicroHD: An Accuracy-Driven Optimization of Hyperdimensional Computing Algorithms for TinyML systems
- arxiv url: http://arxiv.org/abs/2404.00039v1
- Date: Sun, 24 Mar 2024 02:45:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-07 23:07:46.882296
- Title: MicroHD: An Accuracy-Driven Optimization of Hyperdimensional Computing Algorithms for TinyML systems
- Title（参考訳）: MicroHD: TinyMLシステムのための超次元計算アルゴリズムの精度駆動最適化
- Authors: Flavio Ponzina, Tajana Rosing,
- Abstract要約: 超次元コンピューティング(HDC)は、TinyMLアプリケーションを効果的にターゲットできる有望なAIアプローチとして登場しつつある。
HDCの以前の研究は、超次元空間の標準10k次元をはるかに低い値に制限することは可能であることを示した。
- 参考スコア（独自算出の注目度）: 8.54897708375791
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperdimensional computing (HDC) is emerging as a promising AI approach that can effectively target TinyML applications thanks to its lightweight computing and memory requirements. Previous works on HDC showed that limiting the standard 10k dimensions of the hyperdimensional space to much lower values is possible, reducing even more HDC resource requirements. Similarly, other studies demonstrated that binary values can be used as elements of the generated hypervectors, leading to significant efficiency gains at the cost of some degree of accuracy degradation. Nevertheless, current optimization attempts do not concurrently co-optimize HDC hyper-parameters, and accuracy degradation is not directly controlled, resulting in sub-optimal HDC models providing several applications with unacceptable output qualities. In this work, we propose MicroHD, a novel accuracy-driven HDC optimization approach that iteratively tunes HDC hyper-parameters, reducing memory and computing requirements while ensuring user-defined accuracy levels. The proposed method can be applied to HDC implementations using different encoding functions, demonstrates good scalability for larger HDC workloads, and achieves compression and efficiency gains up to 200x when compared to baseline implementations for accuracy degradations lower than 1%.
- Abstract（参考訳）: 超次元コンピューティング(HDC)は、軽量コンピューティングとメモリ要件のおかげで、TinyMLアプリケーションを効果的にターゲットできる有望なAIアプローチとして浮上している。
HDCの以前の研究は、超次元空間の標準10k次元をはるかに低い値に制限することは可能であり、HDCのリソース要求をさらに減らすことを示した。
同様に、他の研究では、バイナリ値を生成したハイパーベクターの要素として使用することができ、ある程度の精度劣化のコストで大きな効率向上をもたらすことが示されている。
しかし、現在の最適化の試みは同時にHDCハイパーパラメータを最適化せず、精度の劣化を直接制御せず、その結果、いくつかのアプリケーションに許容できない出力特性を提供するサブ最適化HDCモデルが提供される。
本研究では,HDCハイパーパラメータを反復的に調整し,ユーザ定義の精度レベルを確保しつつ,メモリとコンピューティングの要求を低減した,新しい精度駆動型HDC最適化手法であるMicroHDを提案する。
提案手法は、異なる符号化関数を用いてHDC実装に適用でき、より大きなHDCワークロードに対して優れたスケーラビリティを示し、1%未満の精度劣化に対するベースライン実装と比較して最大200倍の圧縮と効率向上を実現する。
関連論文リスト
- Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。
微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。
これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
論文 参考訳（メタデータ） (2025-02-01T04:18:28Z) - Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。
PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。
我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
論文 参考訳（メタデータ） (2024-10-17T11:46:33Z) - Accelerating Error Correction Code Transformers [56.75773430667148]
本稿では,トランスを用いたデコーダの高速化手法を提案する。
最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
論文 参考訳（メタデータ） (2024-10-08T11:07:55Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z) - An Encoding Framework for Binarized Images using HyperDimensional
Computing [0.0]
本稿では,近傍のパターンの類似性を保ったバイナライズされた画像を符号化する,新しい軽量化手法を提案する。
この方法は、MNISTデータセットのテストセットで97.35%、Fashion-MNISTデータセットで84.12%に達する。
論文 参考訳（メタデータ） (2023-12-01T09:34:28Z) - Practical Conformer: Optimizing size, speed and flops of Conformer for
on-Device and cloud ASR [67.63332492134332]
我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。
提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
論文 参考訳（メタデータ） (2023-03-31T23:30:48Z) - Efficient Hyperdimensional Computing [4.8915861089531205]
我々は,2次元超ベクトルを用いたHDCモデルを,最先端HDCモデルよりも桁違いに低次元で開発する。
例えば、MNISTデータセットでは、次元が64の画像分類において91.12%のHDC精度を達成する。
論文 参考訳（メタデータ） (2023-01-26T02:22:46Z) - LeHDC: Learning-Based Hyperdimensional Computing Classifier [14.641707790969914]
モデル精度を向上させるために,原理的学習手法を活用した新しいHDCフレームワークLeHDCを提案する。
実験による検証によると、LeHDCは従来のHDCトレーニング戦略より優れており、平均推定精度が15%以上向上している。
論文 参考訳（メタデータ） (2022-03-18T01:13:58Z) - Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。
我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。
すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
論文 参考訳（メタデータ） (2020-10-01T18:14:11Z) - Efficient hyperparameter optimization by way of PAC-Bayes bound
minimization [4.191847852775072]
本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。
そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
論文 参考訳（メタデータ） (2020-08-14T15:54:51Z) - SHEARer: Highly-Efficient Hyperdimensional Computing by
Software-Hardware Enabled Multifold Approximation [7.528764144503429]
我々は,HDコンピューティングの性能とエネルギー消費を改善するアルゴリズム-ハードウェア協調最適化であるSHEARerを提案する。
SHEARerは104,904x (15.7x)のスループット向上と56,044x (301x)の省エネを実現している。
また,提案した近似符号化をエミュレートすることで,HDモデルのトレーニングを可能にするソフトウェアフレームワークを開発した。
論文 参考訳（メタデータ） (2020-07-20T07:58:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。