論文の概要: Robust and Scalable Hyperdimensional Computing With Brain-Like Neural
Adaptations
- arxiv url: http://arxiv.org/abs/2311.07705v1
- Date: Mon, 13 Nov 2023 19:42:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 16:32:48.622707
- Title: Robust and Scalable Hyperdimensional Computing With Brain-Like Neural
Adaptations
- Title（参考訳）: 脳様神経適応を用いたロバストでスケーラブルな超次元計算
- Authors: Junyao Wang, Mohammad Abdullah Al Faruque
- Abstract要約: Internet of Things(IoT)は、エッジベースの機械学習(ML)メソッドを使用して、ローカルに収集されたデータを分析する多くのアプリケーションを容易にした。
脳にインスパイアされた超次元コンピューティング(HDC)がこの問題に対処するために導入された。
既存のHDCは静的エンコーダを使用しており、正確な精度を達成するために非常に高次元と数百のトレーニングイテレーションを必要とする。
本研究では,非所望次元を特定し再生する動的HDC学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 17.052624039805856
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The Internet of Things (IoT) has facilitated many applications utilizing
edge-based machine learning (ML) methods to analyze locally collected data.
Unfortunately, popular ML algorithms often require intensive computations
beyond the capabilities of today's IoT devices. Brain-inspired hyperdimensional
computing (HDC) has been introduced to address this issue. However, existing
HDCs use static encoders, requiring extremely high dimensionality and hundreds
of training iterations to achieve reasonable accuracy. This results in a huge
efficiency loss, severely impeding the application of HDCs in IoT systems. We
observed that a main cause is that the encoding module of existing HDCs lacks
the capability to utilize and adapt to information learned during training. In
contrast, neurons in human brains dynamically regenerate all the time and
provide more useful functionalities when learning new information. While the
goal of HDC is to exploit the high-dimensionality of randomly generated base
hypervectors to represent the information as a pattern of neural activity, it
remains challenging for existing HDCs to support a similar behavior as brain
neural regeneration. In this work, we present dynamic HDC learning frameworks
that identify and regenerate undesired dimensions to provide adequate accuracy
with significantly lowered dimensionalities, thereby accelerating both the
training and inference.
- Abstract（参考訳）: IoT(Internet of Things)は、エッジベースの機械学習(ML)メソッドを使用して、ローカルに収集されたデータを分析する多くのアプリケーションを容易にしている。
残念なことに、一般的なMLアルゴリズムは、今日のIoTデバイスの能力を超えた、集中的な計算を必要とすることが多い。
脳にインスパイアされた超次元コンピューティング(HDC)がこの問題に対処するために導入された。
しかし、既存のHDCは静的エンコーダを使用しており、正確な精度を達成するには、非常に高次元と数百のトレーニングイテレーションが必要である。
これにより、IoTシステムにおけるHDCの応用を著しく阻害する、大きな効率損失が発生する。
既存のhdcのエンコーディングモジュールには,トレーニング中に学習した情報を活用する能力が欠けていることが主な原因であると考えられた。
対照的に、人間の脳のニューロンは常に動的に再生し、新しい情報を学ぶ際により有用な機能を提供する。
HDCの目標は、ランダムに生成されたベースハイパーベクターの高次元性を利用して、情報を神経活動のパターンとして表現することであるが、既存のHDCが脳神経再生と同様の振る舞いをサポートすることは依然として困難である。
本研究では,不好ましくない次元を識別し,再生成し,適切な精度と著しく低い次元を提供する動的hdc学習フレームワークを提案する。
関連論文リスト
- Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。
本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。
この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文 参考訳（メタデータ） (2024-04-15T09:33:09Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳（メタデータ） (2023-12-14T09:46:16Z) - Dynamic Early Exiting Predictive Coding Neural Networks [3.542013483233133]
より小型で正確なデバイスを求めると、Deep Learningモデルはデプロイするには重すぎる。
予測符号化理論と動的早期退避に基づく浅層双方向ネットワークを提案する。
我々は,CIFAR-10上の画像分類におけるVGG-16と同等の精度を,より少ないパラメータと少ない計算量で達成した。
論文 参考訳（メタデータ） (2023-09-05T08:00:01Z) - Brain-Inspired Computational Intelligence via Predictive Coding [89.6335791546526]
予測符号化(PC)は、マシンインテリジェンスタスクにおいて有望なパフォーマンスを示している。
PCは様々な脳領域で情報処理をモデル化することができ、認知制御やロボティクスで使用することができる。
論文 参考訳（メタデータ） (2023-08-15T16:37:16Z) - To Spike or Not To Spike: A Digital Hardware Perspective on Deep
Learning Acceleration [4.712922151067433]
ディープラーニングモデルがスケールするにつれて、コンピュータビジョンから自然言語処理まで、ドメイン間の競争が激化する。
生物学的脳のパワー効率は、大規模深層学習(DL)モデルよりも優れている。
ニューロモルフィックコンピューティングは、DLモデルの効率を改善するために、脳の操作を模倣しようとする。
論文 参考訳（メタデータ） (2023-06-27T19:04:00Z) - Late Breaking Results: Scalable and Efficient Hyperdimensional Computing
for Network Intrusion Detection [8.580557246382142]
CyberHDは、非常に低い次元で複雑なサイバー脅威のパターンを捉え、再生する革新的なHDC学習フレームワークである。
さらに、高次元空間におけるパターンのホログラム分布は、特にハードウェアエラーに対する堅牢性が高いCyberHDを提供する。
論文 参考訳（メタデータ） (2023-04-11T21:30:24Z) - DistHD: A Learner-Aware Dynamic Encoding Method for Hyperdimensional
Classification [10.535034643999344]
本稿では,HDC適応学習のための動的符号化手法であるDistHDを提案する。
提案するアルゴリズムであるDistHDは,より低次元で所望の精度を実現する。
論文 参考訳（メタデータ） (2023-04-11T21:18:52Z) - An Extension to Basis-Hypervectors for Learning from Circular Data in
Hyperdimensional Computing [62.997667081978825]
超次元計算(Hyperdimensional Computing、HDC)は、高次元ランダム空間の性質に基づく計算フレームワークである。
本稿では, 基本超ベクトル集合について検討し, 一般にHDCへの実践的貢献につながっている。
本稿では,HDCを用いた機械学習において,これまでに扱ったことのない重要な情報である円形データから学習する手法を提案する。
論文 参考訳（メタデータ） (2022-05-16T18:04:55Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Spiking Hyperdimensional Network: Neuromorphic Models Integrated with
Memory-Inspired Framework [8.910420030964172]
我々は、スパイキングニューラルネットワークと超次元コンピューティングを根本的に組み合わせた最初のフレームワークであるSpikeHDを提案する。
SpikeHDはスパイクニューラルネットワークを利用して、生のイベントベースのスパイクデータの空間的および時間的相関を保存することで、低レベルの特徴を抽出する。
ベンチマーク分類問題に対する評価の結果,SpikeHDはSNNアーキテクチャと比較して以下の利点があることがわかった。
論文 参考訳（メタデータ） (2021-10-01T05:01:21Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。