論文の概要: Neko: a Library for Exploring Neuromorphic Learning Rules
- arxiv url: http://arxiv.org/abs/2105.00324v1
- Date: Sat, 1 May 2021 18:50:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-04 14:17:23.132121
- Title: Neko: a Library for Exploring Neuromorphic Learning Rules
- Title(参考訳): neko: ニューロモルフィックな学習ルールを探求するライブラリ
- Authors: Zixuan Zhao, Nathan Wycoff, Neil Getty, Rick Stevens, Fangfang Xia
- Abstract要約: Nekoはニューロモルフィック学習アルゴリズムのためのモジュラーライブラリである。
最先端のアルゴリズムを再現し、ある場合、精度とスピードの大幅な性能向上につながる。
NekoはPyTorchとバックエンドをサポートするオープンソースのPythonライブラリである。
- 参考スコア(独自算出の注目度): 0.3499870393443268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of neuromorphic computing is in a period of active exploration.
While many tools have been developed to simulate neuronal dynamics or convert
deep networks to spiking models, general software libraries for learning rules
remain underexplored. This is partly due to the diverse, challenging nature of
efforts to design new learning rules, which range from encoding methods to
gradient approximations, from population approaches that mimic the Bayesian
brain to constrained learning algorithms deployed on memristor crossbars. To
address this gap, we present Neko, a modular, extensible library with a focus
on aiding the design of new learning algorithms. We demonstrate the utility of
Neko in three exemplar cases: online local learning, probabilistic learning,
and analog on-device learning. Our results show that Neko can replicate the
state-of-the-art algorithms and, in one case, lead to significant
outperformance in accuracy and speed. Further, it offers tools including
gradient comparison that can help develop new algorithmic variants. Neko is an
open source Python library that supports PyTorch and TensorFlow backends.
- Abstract(参考訳): ニューロモルフィックコンピューティングの分野は、活発な探索の段階にある。
神経力学をシミュレートしたり、深層ネットワークをスパイクモデルに変換するために多くのツールが開発されているが、学習ルールのための一般的なソフトウェアライブラリはまだ未熟である。
これは、符号化方法から勾配近似まで、ベイズ脳を模倣する集団アプローチから、memristorクロスバー上に展開される制約付き学習アルゴリズムまで、新しい学習ルールを設計するための多様で挑戦的な努力が原因である。
このギャップに対処するために,新しい学習アルゴリズムの設計を支援するモジュール形式の拡張可能なライブラリであるNekoを紹介した。
オンラインローカルラーニング,確率学習,アナログオンデバイスラーニングの3つの例において,nekoの有用性を実証した。
その結果、nekoは最先端のアルゴリズムを再現でき、あるケースでは精度と速度が大幅に低下することがわかった。
さらに、新しいアルゴリズムの変種を開発するのに役立つ勾配比較を含むツールも提供する。
NekoはオープンソースのPythonライブラリで、PyTorchとTensorFlowバックエンドをサポートする。
関連論文リスト
- Modular Neural Network Approaches for Surgical Image Recognition [0.0]
本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。
実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。
第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-17T22:28:16Z) - The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳(メタデータ) (2023-06-30T17:59:13Z) - What learning algorithm is in-context learning? Investigations with
linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。
訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。
文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文 参考訳(メタデータ) (2022-11-28T18:59:51Z) - Proximal Mean Field Learning in Shallow Neural Networks [0.4972323953932129]
無限幅の単一の隠蔽層を有する浅層ニューラルネットワークのための独自の学習アルゴリズムを提案する。
解析ツールとしてではなく,計算アルゴリズムとして,平均場学習を実現する。
本アルゴリズムはリスク関数に関連する自由エネルギーの勾配降下を行う。
論文 参考訳(メタデータ) (2022-10-25T10:06:26Z) - Neurocoder: Learning General-Purpose Computation Using Stored Neural
Programs [64.56890245622822]
ニューロコーダ(Neurocoder)は、汎用計算機の全く新しいクラスである。
共有可能なモジュール型プログラムのセットから関連するプログラムを構成することで、データ応答性のある方法で“コード”を行う。
モジュールプログラムを学習し、パターンシフトを厳しく処理し、新しいプログラムが学習されると、古いプログラムを記憶する新しい能力を示す。
論文 参考訳(メタデータ) (2020-09-24T01:39:16Z) - Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。
このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。
分類モデルと非分類モデルの両方に使用できる。
論文 参考訳(メタデータ) (2020-09-16T18:57:57Z) - PyTorch Metric Learning [37.03614011735927]
PyTorch Metric Learningは、研究者と実践者の両方にとってこの障壁を取り除くことを目的とした、オープンソースのライブラリである。
モジュラーでフレキシブルな設計により、ユーザーは既存のコードで異なるアルゴリズムの組み合わせを簡単に試すことができる。
また、結果の速さを望むユーザーには、完全なトレイン/テストが提供される。
論文 参考訳(メタデータ) (2020-08-20T19:08:56Z) - A Fortran-Keras Deep Learning Bridge for Scientific Computing [6.768544973019004]
ソフトウェアライブラリであるFortran-Keras Bridge(FKB)を導入する。
本稿は、FKBが提供するいくつかのユニークな機能、例えば、カスタマイズ可能なレイヤ、損失関数、ネットワークアンサンブルについて述べる。
本稿は,地球規模の気候シミュレーションに対する実験的アプローチの堅牢性に関するオープンな疑問にFKBを適用したケーススタディで締めくくっている。
論文 参考訳(メタデータ) (2020-04-14T15:10:09Z) - Exposing Hardware Building Blocks to Machine Learning Frameworks [4.56877715768796]
我々は、そのようなニューロンをユニークな関数として補完するトポロジーを設計する方法に焦点をあてる。
我々は、カスタムの空間性と量子化によるニューラルネットワークのトレーニングを支援するライブラリを開発する。
論文 参考訳(メタデータ) (2020-04-10T14:26:00Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳(メタデータ) (2020-03-06T19:00:04Z) - On the distance between two neural networks and the stability of
learning [59.62047284234815]
本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。
この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
論文 参考訳(メタデータ) (2020-02-09T19:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。