論文の概要: Sobol Sequence Optimization for Hardware-Efficient Vector Symbolic Architectures

• arxiv url: http://arxiv.org/abs/2311.10277v1
• Date: Fri, 17 Nov 2023 01:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 15:17:24.011492
• Title: Sobol Sequence Optimization for Hardware-Efficient Vector Symbolic Architectures
• Title（参考訳）: ハードウェア効率のよいベクトルシンボリックアーキテクチャのためのsobolシーケンス最適化
• Authors: Sercan Aygun, M. Hassan Najafi
• Abstract要約: 超次元コンピューティング(HDC)は、効率的で堅牢な学習を約束する新しいコンピューティングパラダイムである。 オブジェクトはハイパーベクトルと呼ばれる高次元ベクトル記号列で符号化される。 分布と独立性によって定義されるハイパーベクターの品質は、HDCシステムの性能に直接影響を及ぼす。
• 参考スコア（独自算出の注目度）: 2.022279594514036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyperdimensional computing (HDC) is an emerging computing paradigm with significant promise for efficient and robust learning. In HDC, objects are encoded with high-dimensional vector symbolic sequences called hypervectors. The quality of hypervectors, defined by their distribution and independence, directly impacts the performance of HDC systems. Despite a large body of work on the processing parts of HDC systems, little to no attention has been paid to data encoding and the quality of hypervectors. Most prior studies have generated hypervectors using inherent random functions, such as MATLAB`s or Python`s random function. This work introduces an optimization technique for generating hypervectors by employing quasi-random sequences. These sequences have recently demonstrated their effectiveness in achieving accurate and low-discrepancy data encoding in stochastic computing systems. The study outlines the optimization steps for utilizing Sobol sequences to produce high-quality hypervectors in HDC systems. An optimization algorithm is proposed to select the most suitable Sobol sequences for generating minimally correlated hypervectors, particularly in applications related to symbol-oriented architectures. The performance of the proposed technique is evaluated in comparison to two traditional approaches of generating hypervectors based on linear-feedback shift registers and MATLAB random function. The evaluation is conducted for two applications: (i) language and (ii) headline classification. Our experimental results demonstrate accuracy improvements of up to 10.79%, depending on the vector size. Additionally, the proposed encoding hardware exhibits reduced energy consumption and a superior area-delay product.
• Abstract（参考訳）: 超次元コンピューティング(HDC)は、効率的で堅牢な学習を約束する新しいコンピューティングパラダイムである。 HDCでは、オブジェクトはハイパーベクトルと呼ばれる高次元ベクトル記号列で符号化される。 分布と独立性によって定義されるハイパーベクターの品質は、HDCシステムの性能に直接影響を及ぼす。 HDCシステムの処理部分には多大な労力が掛かっているが、データエンコーディングやハイパーベクターの品質にはほとんど注意が払われていない。 多くの先行研究は、MATLAB`sやPythonのランダム関数のような固有のランダム関数を使ってハイパーベクターを生成する。 本研究では,準ランダム列を用いてハイパーベクトルを生成する最適化手法を提案する。 これらのシーケンスは、確率計算システムにおいて、正確で低分散のデータエンコーディングを実現する効果を最近実証している。 本研究は,hdcシステムにおいて高品質な超ベクトルを生成するためにsobolシーケンスを利用するための最適化手順について概説する。 特にシンボル指向アーキテクチャに関連するアプリケーションにおいて、最小相関ハイパーベクトルを生成するのに最適なsobolシーケンスを選択するための最適化アルゴリズムを提案する。 提案手法の性能を,線形フィードバックシフトレジスタとMATLABランダム関数に基づく2種類のハイパーベクタ生成手法と比較して評価した。 評価は2つの応用に対して行われる。 (i)言語・言語 (ii) 見出しの分類。 実験結果は,ベクトルサイズに応じて最大10.79%の精度向上を示す。 さらに,提案する符号化ハードウェアは,省エネ化と面積分解性に優れた製品である。

関連論文リスト

• LLM-Vectorizer: LLM-based Verified Loop Vectorizer [12.048697450464935]
  大規模言語モデル(LLM)は、個々の配列要素を処理するスカラープログラムからベクトル化されたコードを生成することができる。 LLMは1.1xから9.4xまでのランタイムスピードアップで高性能なベクトルコードを生成することができる。 我々のアプローチでは、TSVCベンチマークデータセットで正しいベクター化の38.2%を検証できる。
  論文  参考訳（メタデータ） (2024-06-07T07:04:26Z)
• uHD: Unary Processing for Lightweight and Dynamic Hyperdimensional Computing [1.7118124088316602]
  超次元計算(Hyperdimensional Computing、HDC)は、超ベクトルと呼ばれる長次元ベクトルを扱う新しい計算パラダイムである。 本稿では,低差分シーケンスを用いてHDCの強度と位置のハイパーベクターを生成する方法を示す。 論文の中ではじめて,本提案手法では,データの効率的な符号化に一元ビットストリームを用いた軽量なベクトル生成器を用いる。
  論文  参考訳（メタデータ） (2023-11-16T06:28:19Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Learning from Hypervectors: A Survey on Hypervector Encoding [9.46717806608802]
  超次元コンピューティング(Hyperdimensional Computing、HDC)は、脳の構造を模倣し、強力で効率的な処理と学習モデルを提供する新しいコンピューティングパラダイムである。 HDCでは、データは1Kから10Kの長さの超ベクトルと呼ばれる長いベクトルで符号化される。
  論文  参考訳（メタデータ） (2023-08-01T17:42:35Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• An Extension to Basis-Hypervectors for Learning from Circular Data in Hyperdimensional Computing [62.997667081978825]
  超次元計算(Hyperdimensional Computing、HDC)は、高次元ランダム空間の性質に基づく計算フレームワークである。 本稿では, 基本超ベクトル集合について検討し, 一般にHDCへの実践的貢献につながっている。 本稿では,HDCを用いた機械学習において,これまでに扱ったことのない重要な情報である円形データから学習する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-16T18:04:55Z)
• Understanding Hyperdimensional Computing for Parallel Single-Pass Learning [47.82940409267635]
  我々はHDCがハードウェア効率を保ちながら、最先端のHDCモデルよりも最大7.6%性能が高いことを示す。 本稿では,HDC の限界を超える新しいクラス VSA,有限群 VSA を提案する。 実験の結果, RFF法とグループVSAはともに最先端HDCモデルより最大7.6%優れていた。
  論文  参考訳（メタデータ） (2022-02-10T02:38:56Z)
• Shift-Equivariant Similarity-Preserving Hypervector Representations of Sequences [0.8223798883838329]
  本稿では,シーケンスのハイパーベクター形成のためのアプローチを提案する。 提案手法は合成ハイパーベクターによるシーケンス要素の表現である。 シンボル文字列の形でデータを用いた多種多様なタスクセットを用いて,提案した表現を実験的に検討した。
  論文  参考訳（メタデータ） (2021-12-31T14:29:12Z)
• Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
  自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。 我々のモデルは以前の生成法より70倍高速で精度が高い。
  論文  参考訳（メタデータ） (2021-09-08T17:28:26Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• SHEARer: Highly-Efficient Hyperdimensional Computing by Software-Hardware Enabled Multifold Approximation [7.528764144503429]
  我々は,HDコンピューティングの性能とエネルギー消費を改善するアルゴリズム-ハードウェア協調最適化であるSHEARerを提案する。 SHEARerは104,904x (15.7x)のスループット向上と56,044x (301x)の省エネを実現している。 また,提案した近似符号化をエミュレートすることで,HDモデルのトレーニングを可能にするソフトウェアフレームワークを開発した。
  論文  参考訳（メタデータ） (2020-07-20T07:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。