論文の概要: Hypervector Design for Efficient Hyperdimensional Computing on Edge Devices

• arxiv url: http://arxiv.org/abs/2103.06709v1
• Date: Mon, 8 Mar 2021 05:25:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 23:29:46.809074
• Title: Hypervector Design for Efficient Hyperdimensional Computing on Edge Devices
• Title（参考訳）: エッジデバイスにおける高効率超次元コンピューティングのためのハイパーベクトル設計
• Authors: Toygun Basaklar, Yigit Tuncel, Shruti Yadav Narayana, Suat Gumussoy, and Umit Y. Ogras
• Abstract要約: 本稿では,超ベクトル次元を最小化し,精度を保ち,分類器の堅牢性を向上する手法を提案する。 提案手法は,従来のhdcで達成した精度を維持しつつ,32倍以上の超ベクトル次元を減少させる。 商用ハードウェアプラットフォーム上での実験により,提案手法はモデルサイズ,推測時間,エネルギー消費を1桁以上削減できることがわかった。
• 参考スコア（独自算出の注目度）: 0.20971479389679334
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Hyperdimensional computing (HDC) has emerged as a new light-weight learning algorithm with smaller computation and energy requirements compared to conventional techniques. In HDC, data points are represented by high-dimensional vectors (hypervectors), which are mapped to high-dimensional space (hyperspace). Typically, a large hypervector dimension ($\geq1000$) is required to achieve accuracies comparable to conventional alternatives. However, unnecessarily large hypervectors increase hardware and energy costs, which can undermine their benefits. This paper presents a technique to minimize the hypervector dimension while maintaining the accuracy and improving the robustness of the classifier. To this end, we formulate the hypervector design as a multi-objective optimization problem for the first time in the literature. The proposed approach decreases the hypervector dimension by more than $32\times$ while maintaining or increasing the accuracy achieved by conventional HDC. Experiments on a commercial hardware platform show that the proposed approach achieves more than one order of magnitude reduction in model size, inference time, and energy consumption. We also demonstrate the trade-off between accuracy and robustness to noise and provide Pareto front solutions as a design parameter in our hypervector design.
• Abstract（参考訳）: 超次元コンピューティング(HDC)は、従来の手法に比べて計算量とエネルギー要求が小さい新しい軽量学習アルゴリズムとして登場した。 HDCでは、データポイントは高次元ベクトル (hypervector) で表され、高次元空間 (hyperspace) にマップされる。 通常、従来の方法に匹敵する精度を達成するには、大きな超ベクトル次元($\geq1000$)が必要である。 しかし、必然的に大きなハイパーベクターは、ハードウェアとエネルギーコストを増大させ、その利点を損なう可能性がある。 本稿では,超ベクトル次元を最小化し,精度を保ち,分類器の堅牢性を向上する手法を提案する。 この目的のために、ハイパーベクトルの設計を文献で初めて多対象最適化問題として定式化する。 提案手法は,従来のhdcで達成した精度を維持しつつ,32\times$以上の超ベクトル次元を減少させる。 商用ハードウェアプラットフォーム上での実験により,提案手法はモデルサイズ,推測時間,エネルギー消費を1桁以上削減できることがわかった。 また、ノイズに対する精度と堅牢性のトレードオフを実証し、パレートフロントソリューションをハイパーベクトル設計の設計パラメータとして提供します。

関連論文リスト

• Sobol Sequence Optimization for Hardware-Efficient Vector Symbolic Architectures [2.022279594514036]
  超次元コンピューティング(HDC)は、効率的で堅牢な学習を約束する新しいコンピューティングパラダイムである。 オブジェクトはハイパーベクトルと呼ばれる高次元ベクトル記号列で符号化される。 分布と独立性によって定義されるハイパーベクターの品質は、HDCシステムの性能に直接影響を及ぼす。
  論文  参考訳（メタデータ） (2023-11-17T01:48:07Z)
• uHD: Unary Processing for Lightweight and Dynamic Hyperdimensional Computing [1.7118124088316602]
  超次元計算(Hyperdimensional Computing、HDC)は、超ベクトルと呼ばれる長次元ベクトルを扱う新しい計算パラダイムである。 本稿では,低差分シーケンスを用いてHDCの強度と位置のハイパーベクターを生成する方法を示す。 論文の中ではじめて,本提案手法では,データの効率的な符号化に一元ビットストリームを用いた軽量なベクトル生成器を用いる。
  論文  参考訳（メタデータ） (2023-11-16T06:28:19Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Efficient Hyperdimensional Computing [4.8915861089531205]
  我々は,2次元超ベクトルを用いたHDCモデルを,最先端HDCモデルよりも桁違いに低次元で開発する。 例えば、MNISTデータセットでは、次元が64の画像分類において91.12%のHDC精度を達成する。
  論文  参考訳（メタデータ） (2023-01-26T02:22:46Z)
• An Extension to Basis-Hypervectors for Learning from Circular Data in Hyperdimensional Computing [62.997667081978825]
  超次元計算(Hyperdimensional Computing、HDC)は、高次元ランダム空間の性質に基づく計算フレームワークである。 本稿では, 基本超ベクトル集合について検討し, 一般にHDCへの実践的貢献につながっている。 本稿では,HDCを用いた機械学習において,これまでに扱ったことのない重要な情報である円形データから学習する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-16T18:04:55Z)
• Understanding Hyperdimensional Computing for Parallel Single-Pass Learning [47.82940409267635]
  我々はHDCがハードウェア効率を保ちながら、最先端のHDCモデルよりも最大7.6%性能が高いことを示す。 本稿では,HDC の限界を超える新しいクラス VSA,有限群 VSA を提案する。 実験の結果, RFF法とグループVSAはともに最先端HDCモデルより最大7.6%優れていた。
  論文  参考訳（メタデータ） (2022-02-10T02:38:56Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• SHEARer: Highly-Efficient Hyperdimensional Computing by Software-Hardware Enabled Multifold Approximation [7.528764144503429]
  我々は,HDコンピューティングの性能とエネルギー消費を改善するアルゴリズム-ハードウェア協調最適化であるSHEARerを提案する。 SHEARerは104,904x (15.7x)のスループット向上と56,044x (301x)の省エネを実現している。 また,提案した近似符号化をエミュレートすることで,HDモデルのトレーニングを可能にするソフトウェアフレームワークを開発した。
  論文  参考訳（メタデータ） (2020-07-20T07:58:44Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。