論文の概要: Unlocking the potential of two-point cells for energy-efficient training
of deep nets
- arxiv url: http://arxiv.org/abs/2211.01950v1
- Date: Mon, 24 Oct 2022 13:33:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 14:41:30.156900
- Title: Unlocking the potential of two-point cells for energy-efficient training
of deep nets
- Title（参考訳）: 深層網のエネルギー効率トレーニングのための2点セルのポテンシャルの解錠
- Authors: Ahsan Adeel, Adewale Adetomi, Khubaib Ahmed, Amir Hussain, Tughrul
Arslan, W.A. Phillips
- Abstract要約: 変換型L5PC駆動型ディープニューラルネットワーク(DNN)が、大量の異種実世界のオーディオ視覚(AV)データを効果的に処理できることを示す。
Xilinx UltraScale+ MPSoC デバイス上の新しい高分散並列実装は、最大で245759 × 50000$$mu$Jと見積もっている。
教師付き学習装置では、省エネはベースラインモデルよりも最大1250倍少ない(フィードフォワード送信)。
- 参考スコア（独自算出の注目度）: 4.544752600181175
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Context-sensitive two-point layer 5 pyramidal cells (L5PC) were discovered as
long ago as 1999. However, the potential of this discovery to provide useful
neural computation has yet to be demonstrated. Here we show for the first time
how a transformative L5PC-driven deep neural network (DNN), termed the
multisensory cooperative computing (MCC) architecture, can effectively process
large amounts of heterogeneous real-world audio-visual (AV) data, using far
less energy compared to best available `point' neuron-driven DNNs. A novel
highly-distributed parallel implementation on a Xilinx UltraScale+ MPSoC device
estimates energy savings up to $245759 \times 50000$ $\mu$J (i.e., $62\%$ less
than the baseline model in a semi-supervised learning setup) where a single
synapse consumes $8e^{-5}\mu$J. In a supervised learning setup, the
energy-saving can potentially reach up to 1250x less (per feedforward
transmission) than the baseline model. This remarkable performance in pilot
experiments demonstrates the embodied neuromorphic intelligence of our proposed
L5PC based MCC architecture that contextually selects the most salient and
relevant information for onward transmission, from overwhelmingly large
multimodal information utilised at the early stages of on-chip training. Our
proposed approach opens new cross-disciplinary avenues for future on-chip DNN
training implementations and posits a radical shift in current neuromorphic
computing paradigms.
- Abstract（参考訳）: 文脈感受性2点層5錐体細胞(L5PC)は1999年に発見された。
しかし、この発見が有用な神経計算を提供する可能性はまだ実証されていない。
本稿では,多センサ協調コンピューティング(mcc)アーキテクチャと呼ばれる変換型l5pc駆動深層ニューラルネットワーク(dnn)が,利用可能な最善の'点'ニューロン駆動dnnに比べてはるかに少ないエネルギーで,大量の異種実世界オーディオビジュアル(av)データを効果的に処理できることを初めて示す。
xilinx ultrascale+ mpsoc デバイス上の新しい高分散並列実装は、単一のシナプスが 8e^{-5}\mu$j を消費する2,45759 \times 50000$$$\mu$j (すなわち、半教師付き学習セットアップにおけるベースラインモデルよりも6,2$%少ない) の省エネルギーを推定する。
教師あり学習のセットアップでは、省エネはベースラインモデルよりも最大1250倍(フィードフォワードトランスミッションあたり)に到達できる可能性がある。
実験実験におけるこの顕著な性能は、我々が提案したL5PCベースのMCCアーキテクチャの具体的ニューロモルフィックインテリジェンスを実証し、オンチップトレーニングの初期段階で利用された圧倒的に大きなマルチモーダル情報から、上向き送信において最も健全で関連性の高い情報を選択する。
提案手法は,将来のDNNトレーニング実装のための学際的な新たな道を開き,現在のニューロモルフィックコンピューティングパラダイムの急激な変化を示唆する。
関連論文リスト
- Neural Network Matrix Product Operator: A Multi-Dimensionally Integrable Machine Learning Potential [0.0]
行列積演算子(NN-MPO)で表されるニューラルネットワークに基づく機械学習ポテンシャルエネルギー面(PES)を提案する。
MPO形式は、時間に依存しないシュリンガー方程式を解く際に生じる高次元積分の効率的な評価を可能にする。
論文 参考訳（メタデータ） (2024-10-31T12:07:52Z) - EvSegSNN: Neuromorphic Semantic Segmentation for Event Data [0.6138671548064356]
EvSegSNN は、Parametric Leaky Integrate と Fire のニューロンに依存した、生物学的に検証可能なエンコーダ-デコーダU字型アーキテクチャである。
本稿では,スパイキングニューラルネットワークとイベントカメラを組み合わせることによって,エンド・ツー・エンドのバイオインスパイアされたセマンティックセマンティックセマンティクス手法を提案する。
DDD17で実施された実験は、EvSegSNNがMIoUの観点から最も近い最先端モデルを上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-20T10:36:24Z) - Energy-Efficient On-Board Radio Resource Management for Satellite
Communications via Neuromorphic Computing [59.40731173370976]
本研究は,エネルギー効率のよい脳誘発機械学習モデルのオンボード無線リソース管理への応用について検討する。
関連するワークロードでは、Loihi 2に実装されたスパイクニューラルネットワーク(SNN)の方が精度が高く、CNNベースのリファレンスプラットフォームと比較して消費電力が100ドル以上削減される。
論文 参考訳（メタデータ） (2023-08-22T03:13:57Z) - Efficient SGD Neural Network Training via Sublinear Activated Neuron
Identification [22.361338848134025]
本稿では,ReLUの活性化をシフトする2層ニューラルネットワークについて,幾何学的探索によるサブ線形時間における活性化ニューロンの同定を可能にする。
また、我々のアルゴリズムは、係数ノルム上界$M$とエラー項$epsilon$の2次ネットワークサイズで$O(M2/epsilon2)$時間に収束できることを示す。
論文 参考訳（メタデータ） (2023-07-13T05:33:44Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - In-Hardware Learning of Multilayer Spiking Neural Networks on a
Neuromorphic Processor [6.816315761266531]
この研究は、生物学的に妥当な局所更新規則を持つスパイクベースのバックプロパゲーションアルゴリズムを示し、ニューロモルフィックハードウェアの制約に適合するように適応する。
このアルゴリズムはIntel Loihiチップ上に実装されており、モバイルアプリケーション用の多層SNNの低消費電力ハードウェアによるオンライン学習を可能にする。
論文 参考訳（メタデータ） (2021-05-08T09:22:21Z) - Flexible Transmitter Network [84.90891046882213]
現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。
本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。
本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
論文 参考訳（メタデータ） (2020-04-08T06:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。