論文の概要: Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning
Architectures
- arxiv url: http://arxiv.org/abs/2004.13532v2
- Date: Fri, 11 Sep 2020 13:27:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 22:07:39.420603
- Title: Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning
Architectures
- Title(参考訳): ディープラーニングアーキテクチャにおけるLeaky-Integrate-and-Fire-Neuronsの統合
- Authors: Richard C. Gerum, Achim Schilling
- Abstract要約: 生物学的にインスパイアされたニューロンモデルが情報符号化の斬新で効率的な方法を提供することを示す。
LIF単位に対する簡単な更新ルールを微分方程式から導出した。
本手法をIRIS花のイメージデータセットに適用し,画像分類タスクにおけるLIFニューロンのトレーニングに使用することができることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Up to now, modern Machine Learning is mainly based on fitting high
dimensional functions to enormous data sets, taking advantage of huge hardware
resources. We show that biologically inspired neuron models such as the
Leaky-Integrate-and-Fire (LIF) neurons provide novel and efficient ways of
information encoding. They can be integrated in Machine Learning models, and
are a potential target to improve Machine Learning performance.
Thus, we derived simple update-rules for the LIF units from the differential
equations, which are easy to numerically integrate. We apply a novel approach
to train the LIF units supervisedly via backpropagation, by assigning a
constant value to the derivative of the neuron activation function exclusively
for the backpropagation step. This simple mathematical trick helps to
distribute the error between the neurons of the pre-connected layer. We apply
our method to the IRIS blossoms image data set and show that the training
technique can be used to train LIF neurons on image classification tasks.
Furthermore, we show how to integrate our method in the KERAS (tensorflow)
framework and efficiently run it on GPUs. To generate a deeper understanding of
the mechanisms during training we developed interactive illustrations, which we
provide online.
With this study we want to contribute to the current efforts to enhance
Machine Intelligence by integrating principles from biology.
- Abstract(参考訳): 現在まで、現代の機械学習は主に巨大なデータセットに高次元関数を適合させることに基づいており、巨大なハードウェアリソースを活用している。
生体にインスパイアされたLeaky-Integrate-and-Fire(LIF)ニューロンは、情報符号化の斬新で効率的な方法を提供する。
それらは機械学習モデルに統合することができ、機械学習のパフォーマンスを改善する潜在的なターゲットである。
そこで,微分方程式からLIF単位に対する簡単な更新ルールを導出した。
本稿では,バックプロパゲーションステップ専用のニューロン活性化関数の導関数に一定値を割り当てることで,LIFユニットを監督的にトレーニングするための新しいアプローチを適用する。
この単純な数学的トリックは、プレ接続層のニューロン間でエラーを分散させるのに役立つ。
本手法をIRIS花のイメージデータセットに適用し,画像分類タスクにおけるLIFニューロンのトレーニングに使用することができることを示す。
さらに,本手法をKERAS(tensorflow)フレームワークに統合し,GPU上で効率的に動作させる方法について述べる。
学習中のメカニズムをより深く理解するために,オンライン上のインタラクティブなイラストを開発した。
本研究では, 生物学の原理を統合することで, 機械知能の向上に寄与したいと考えている。
関連論文リスト
- Demolition and Reinforcement of Memories in Spin-Glass-like Neural
Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。
構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。
Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文 参考訳(メタデータ) (2024-03-04T23:12:42Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Neural Galerkin Schemes with Active Learning for High-Dimensional
Evolution Equations [44.89798007370551]
本研究では,高次元偏微分方程式を数値的に解くために,能動的学習を用いた学習データを生成するディープラーニングに基づくニューラル・ガレルキンスキームを提案する。
ニューラル・ガレルキンスキームはディラック・フランケル変分法に基づいて、残余を時間とともに最小化することで、ネットワークを訓練する。
提案したニューラル・ガレルキン・スキームの学習データ収集は,高次元におけるネットワークの表現力を数値的に実現するための鍵となる。
論文 参考訳(メタデータ) (2022-03-02T19:09:52Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Gradient Descent in Materio [3.756477173839499]
材料システムにおいて, 損失関数の勾配降下を行うための, 効率的で正確なホモダイン勾配抽出法を示す。
これは、原則として勾配勾配勾配は、単純な電子を用いてマテオで完全に実装できることを示している。
論文 参考訳(メタデータ) (2021-05-15T12:18:31Z) - AutoInt: Automatic Integration for Fast Neural Volume Rendering [51.46232518888791]
暗黙的ニューラル表現ネットワークを用いて、積分に対する効率的でクローズドな解を学習するための新しいフレームワークを提案する。
我々は,高速なニューラルボリュームレンダリングを実現するために,フォトリアリスティックな要件を10倍以上に改善したことを示す。
論文 参考訳(メタデータ) (2020-12-03T05:46:10Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳(メタデータ) (2020-11-03T11:00:10Z) - Reward Propagation Using Graph Convolutional Networks [61.32891095232801]
本稿では,グラフ表現学習のアイデアを活用した潜在機能学習フレームワークを提案する。
我々のアプローチは、強化学習の確率論的推論と組み合わせて、重要な要素として使用するグラフ畳み込みネットワークに依存している。
論文 参考訳(メタデータ) (2020-10-06T04:38:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。