論文の概要: Understanding Hyperdimensional Computing for Parallel Single-Pass Learning

• arxiv url: http://arxiv.org/abs/2202.04805v1
• Date: Thu, 10 Feb 2022 02:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 16:58:46.737889
• Title: Understanding Hyperdimensional Computing for Parallel Single-Pass Learning
• Title（参考訳）: 並列シングルパス学習のための超次元計算の理解
• Authors: Tao Yu, Yichi Zhang, Zhiru Zhang, Christopher De Sa
• Abstract要約: 我々はHDCがハードウェア効率を保ちながら、最先端のHDCモデルよりも最大7.6%性能が高いことを示す。 本稿では,HDC の限界を超える新しいクラス VSA,有限群 VSA を提案する。 実験の結果, RFF法とグループVSAはともに最先端HDCモデルより最大7.6%優れていた。
• 参考スコア（独自算出の注目度）: 47.82940409267635
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hyperdimensional computing (HDC) is an emerging learning paradigm that computes with high dimensional binary vectors. It is attractive because of its energy efficiency and low latency, especially on emerging hardware -- but HDC suffers from low model accuracy, with little theoretical understanding of what limits its performance. We propose a new theoretical analysis of the limits of HDC via a consideration of what similarity matrices can be "expressed" by binary vectors, and we show how the limits of HDC can be approached using random Fourier features (RFF). We extend our analysis to the more general class of vector symbolic architectures (VSA), which compute with high-dimensional vectors (hypervectors) that are not necessarily binary. We propose a new class of VSAs, finite group VSAs, which surpass the limits of HDC. Using representation theory, we characterize which similarity matrices can be "expressed" by finite group VSA hypervectors, and we show how these VSAs can be constructed. Experimental results show that our RFF method and group VSA can both outperform the state-of-the-art HDC model by up to 7.6\% while maintaining hardware efficiency.
• Abstract（参考訳）: 超次元コンピューティング(hyperdimensional computing, hdc)は、高次元バイナリベクトルで計算する新しい学習パラダイムである。 エネルギー効率と低レイテンシのため、特に新興ハードウェアでは魅力的だが、HDCは低モデルの精度に悩まされており、パフォーマンスの制限について理論的にはほとんど理解されていない。 本稿では,2進ベクトルによる類似度行列の「表現」を考慮し,HDCの限界に関する新たな理論的解析を提案し,その限界をランダムなフーリエ特徴(RFF)を用いてアプローチする方法を示す。 我々は解析をベクトル記号アーキテクチャ(VSA)のより一般的なクラスに拡張し、必ずしもバイナリではない高次元ベクトル(ハイパーベクトル)で計算する。 我々は,hdc の限界を超える新たなクラスである有限群 vsas を提案する。 表現論を用いて、有限群 VSA ハイパーベクトルによってどの類似行列を「表現」できるかを特徴づけ、これらの VSA をどのように構成するかを示す。 実験の結果, RFF法とグループVSAは, ハードウェア効率を保ちながら, 最先端HDCモデルより最大7.6倍高い性能が得られることがわかった。

関連論文リスト

• A Walsh Hadamard Derived Linear Vector Symbolic Architecture [83.27945465029167]
  シンボリックベクトルアーキテクチャ(VSAs)は、ニューロシンボリックAIを開発するためのアプローチである。 HLBは計算効率が良く、従来のVSAタスクで有効であるように設計されている。
  論文  参考訳（メタデータ） (2024-10-30T03:42:59Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Sobol Sequence Optimization for Hardware-Efficient Vector Symbolic Architectures [2.022279594514036]
  超次元コンピューティング(HDC)は、効率的で堅牢な学習を約束する新しいコンピューティングパラダイムである。 オブジェクトはハイパーベクトルと呼ばれる高次元ベクトル記号列で符号化される。 分布と独立性によって定義されるハイパーベクターの品質は、HDCシステムの性能に直接影響を及ぼす。
  論文  参考訳（メタデータ） (2023-11-17T01:48:07Z)
• uHD: Unary Processing for Lightweight and Dynamic Hyperdimensional Computing [1.7118124088316602]
  超次元計算(Hyperdimensional Computing、HDC)は、超ベクトルと呼ばれる長次元ベクトルを扱う新しい計算パラダイムである。 本稿では,低差分シーケンスを用いてHDCの強度と位置のハイパーベクターを生成する方法を示す。 論文の中ではじめて,本提案手法では,データの効率的な符号化に一元ビットストリームを用いた軽量なベクトル生成器を用いる。
  論文  参考訳（メタデータ） (2023-11-16T06:28:19Z)
• Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
  この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。 1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。 我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-25T05:04:44Z)
• HDCC: A Hyperdimensional Computing compiler for classification on embedded systems and high-performance computing [58.720142291102135]
  この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。 nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。 これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
  論文  参考訳（メタデータ） (2023-04-24T19:16:03Z)
• Efficient Hyperdimensional Computing [4.8915861089531205]
  我々は,2次元超ベクトルを用いたHDCモデルを,最先端HDCモデルよりも桁違いに低次元で開発する。 例えば、MNISTデータセットでは、次元が64の画像分類において91.12%のHDC精度を達成する。
  論文  参考訳（メタデータ） (2023-01-26T02:22:46Z)
• An Extension to Basis-Hypervectors for Learning from Circular Data in Hyperdimensional Computing [62.997667081978825]
  超次元計算(Hyperdimensional Computing、HDC)は、高次元ランダム空間の性質に基づく計算フレームワークである。 本稿では, 基本超ベクトル集合について検討し, 一般にHDCへの実践的貢献につながっている。 本稿では,HDCを用いた機械学習において,これまでに扱ったことのない重要な情報である円形データから学習する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-16T18:04:55Z)
• HDC-MiniROCKET: Explicit Time Encoding in Time Series Classification with Hyperdimensional Computing [14.82489178857542]
  MiniROCKETは時系列分類の最も優れた方法の1つである。 我々は、超次元計算(HDC)機構を用いて、より優れたグローバル時間符号化を提供するために、このアプローチを拡張した。 HDCの拡張は、推論の計算労力を増大させることなく、時間依存性の高いデータセットに対して、かなり優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-02-16T13:33:13Z)
• Hypervector Design for Efficient Hyperdimensional Computing on Edge Devices [0.20971479389679334]
  本稿では,超ベクトル次元を最小化し,精度を保ち,分類器の堅牢性を向上する手法を提案する。 提案手法は,従来のhdcで達成した精度を維持しつつ,32倍以上の超ベクトル次元を減少させる。 商用ハードウェアプラットフォーム上での実験により,提案手法はモデルサイズ,推測時間,エネルギー消費を1桁以上削減できることがわかった。
  論文  参考訳（メタデータ） (2021-03-08T05:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。