論文の概要: SynergicLearning: Neural Network-Based Feature Extraction for
Highly-Accurate Hyperdimensional Learning
- arxiv url: http://arxiv.org/abs/2007.15222v2
- Date: Tue, 4 Aug 2020 17:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 13:23:44.238827
- Title: SynergicLearning: Neural Network-Based Feature Extraction for
Highly-Accurate Hyperdimensional Learning
- Title（参考訳）: SynergicLearning:高精度高次元学習のためのニューラルネットワークに基づく特徴抽出
- Authors: Mahdi Nazemi, Amirhossein Esmaili, Arash Fayyazi, Massoud Pedram
- Abstract要約: 機械学習モデルは、精度、計算/メモリの複雑さ、トレーニング時間、適応性という点で異なる。
本研究は, チップ上でのインクリメンタルなオンライン学習に適したハイブリッド・シナジー型機械学習モデルを提案する。
提案したモデルは、NNと同じレベルの精度(すなわち$pm$1%)を持ち、HD学習モデルと比較して少なくとも10%の精度向上を実現している。
- 参考スコア（独自算出の注目度）: 3.5024680868164437
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models differ in terms of accuracy, computational/memory
complexity, training time, and adaptability among other characteristics. For
example, neural networks (NNs) are well-known for their high accuracy due to
the quality of their automatic feature extraction while brain-inspired
hyperdimensional (HD) learning models are famous for their quick training,
computational efficiency, and adaptability. This work presents a hybrid,
synergic machine learning model that excels at all the said characteristics and
is suitable for incremental, on-line learning on a chip. The proposed model
comprises an NN and a classifier. The NN acts as a feature extractor and is
specifically trained to work well with the classifier that employs the HD
computing framework. This work also presents a parameterized hardware
implementation of the said feature extraction and classification components
while introducing a compiler that maps any arbitrary NN and/or classifier to
the aforementioned hardware. The proposed hybrid machine learning model has the
same level of accuracy (i.e. $\pm$1%) as NNs while achieving at least 10%
improvement in accuracy compared to HD learning models. Additionally, the
end-to-end hardware realization of the hybrid model improves power efficiency
by 1.60x compared to state-of-the-art, high-performance HD learning
implementations while improving latency by 2.13x. These results have profound
implications for the application of such synergic models in challenging
cognitive tasks.
- Abstract（参考訳）: 機械学習モデルは、精度、計算/メモリの複雑さ、トレーニング時間、適応性などの点で異なる。
例えば、ニューラルネットワーク(NN)は自動特徴抽出の品質のために高い精度で知られており、一方、脳にインスパイアされた超次元(HD)学習モデルは、迅速なトレーニング、計算効率、適応性で有名である。
本研究は、チップ上でのインクリメンタルなオンライン学習に適した、その特性をすべて備えた、ハイブリッドでシナジーな機械学習モデルを提案する。
提案モデルは、NNと分類器からなる。
NNは機能抽出器として機能し、HDコンピューティングフレームワークを使用する分類器とうまく連携するように特別に訓練されている。
この研究は、任意のNNおよび/または分類器を上記のハードウェアにマッピングするコンパイラを導入しながら、上記の特徴抽出および分類コンポーネントのパラメータ化ハードウェア実装も提示する。
提案されたハイブリッド機械学習モデルは、NNと同じレベルの精度(すなわち$\pm$1%)を持ち、HD学習モデルと比較して少なくとも10%の精度向上を実現している。
さらに、ハイブリッドモデルのエンドツーエンドハードウェア実現により、最先端のハイパフォーマンスなhd学習実装に比べて電力効率が1.60倍向上し、レイテンシが2.13倍向上した。
これらの結果は、認知課題にこのようなシナジーモデルを適用することに深く影響している。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs [2.1756721838833797]
フェデレートされた機械学習は、複数のクライアントにわたるモデルトレーニングを可能にする。
Vertical Federated Learning (VFL)は、クライアントが同じサンプルの異なる機能セットを持つインスタンスを扱う。
スパイキングニューラルネットワーク(SNN)は、エッジでの高速かつ正確な処理を可能にするために活用されている。
論文 参考訳（メタデータ） (2024-07-24T23:31:02Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Lightweight Hybrid CNN-ELM Model for Multi-building and Multi-floor
Classification [6.154022105385209]
本稿では,CNN と ELM の軽量な組み合わせを提案する。
その結果,提案モデルはベンチマークよりも58%高速であり,分類精度はわずかに向上した。
論文 参考訳（メタデータ） (2022-04-21T21:48:01Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear
Convolution [0.0]
NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。
いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
論文 参考訳（メタデータ） (2021-01-30T13:38:42Z) - Superiorities of Deep Extreme Learning Machines against Convolutional
Neural Networks [3.04585143845864]
deep learning (dl)は、入力データを詳細に分析する人工知能のための機械学習手順である。
DLはグラフィカル処理ユニット機能の一般的な改善で人気がある。
Deep Extreme Learning Machine(Deep ELM)は、迅速な分類問題を解決するための最速かつ効果的な方法の1つです。
論文 参考訳（メタデータ） (2021-01-21T08:22:18Z) - Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。
我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。
CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。
以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
論文 参考訳（メタデータ） (2020-09-01T16:20:11Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳（メタデータ） (2020-04-29T01:28:32Z) - An Image Enhancing Pattern-based Sparsity for Real-time Inference on
Mobile Devices [58.62801151916888]
パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。
新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
論文 参考訳（メタデータ） (2020-01-20T16:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。