論文の概要: Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning Architectures

• arxiv url: http://arxiv.org/abs/2004.13532v2
• Date: Fri, 11 Sep 2020 13:27:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 22:07:39.420603
• Title: Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning Architectures
• Title（参考訳）: ディープラーニングアーキテクチャにおけるLeaky-Integrate-and-Fire-Neuronsの統合
• Authors: Richard C. Gerum, Achim Schilling
• Abstract要約: 生物学的にインスパイアされたニューロンモデルが情報符号化の斬新で効率的な方法を提供することを示す。 LIF単位に対する簡単な更新ルールを微分方程式から導出した。 本手法をIRIS花のイメージデータセットに適用し,画像分類タスクにおけるLIFニューロンのトレーニングに使用することができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Up to now, modern Machine Learning is mainly based on fitting high dimensional functions to enormous data sets, taking advantage of huge hardware resources. We show that biologically inspired neuron models such as the Leaky-Integrate-and-Fire (LIF) neurons provide novel and efficient ways of information encoding. They can be integrated in Machine Learning models, and are a potential target to improve Machine Learning performance. Thus, we derived simple update-rules for the LIF units from the differential equations, which are easy to numerically integrate. We apply a novel approach to train the LIF units supervisedly via backpropagation, by assigning a constant value to the derivative of the neuron activation function exclusively for the backpropagation step. This simple mathematical trick helps to distribute the error between the neurons of the pre-connected layer. We apply our method to the IRIS blossoms image data set and show that the training technique can be used to train LIF neurons on image classification tasks. Furthermore, we show how to integrate our method in the KERAS (tensorflow) framework and efficiently run it on GPUs. To generate a deeper understanding of the mechanisms during training we developed interactive illustrations, which we provide online. With this study we want to contribute to the current efforts to enhance Machine Intelligence by integrating principles from biology.
• Abstract（参考訳）: 現在まで、現代の機械学習は主に巨大なデータセットに高次元関数を適合させることに基づいており、巨大なハードウェアリソースを活用している。 生体にインスパイアされたLeaky-Integrate-and-Fire(LIF)ニューロンは、情報符号化の斬新で効率的な方法を提供する。 それらは機械学習モデルに統合することができ、機械学習のパフォーマンスを改善する潜在的なターゲットである。 そこで,微分方程式からLIF単位に対する簡単な更新ルールを導出した。 本稿では,バックプロパゲーションステップ専用のニューロン活性化関数の導関数に一定値を割り当てることで,LIFユニットを監督的にトレーニングするための新しいアプローチを適用する。 この単純な数学的トリックは、プレ接続層のニューロン間でエラーを分散させるのに役立つ。 本手法をIRIS花のイメージデータセットに適用し,画像分類タスクにおけるLIFニューロンのトレーニングに使用することができることを示す。 さらに,本手法をKERAS(tensorflow)フレームワークに統合し,GPU上で効率的に動作させる方法について述べる。 学習中のメカニズムをより深く理解するために,オンライン上のインタラクティブなイラストを開発した。 本研究では, 生物学の原理を統合することで, 機械知能の向上に寄与したいと考えている。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Learning-to-learn enables rapid learning with phase-change memory-based in-memory computing [38.34244217803562]
  低消費電力で自律的に学習する人工知能(AI)システムに対する需要は、エッジに適用でき、デプロイメントサイトの特定の状況に迅速に適応できる。 本研究では、L2Lとインメモリコンピューティングニューロモルフィックハードウェアを組み合わせ、新しいタスクに迅速に適応できる効率的なAIモデルを構築する。 画像分類を行う畳み込みニューラルネットワークと、本物のロボットアームのモーターコマンドを生成する生物学的にインスパイアされたスパイクニューラルネットワークの2つのシナリオで、我々のアプローチの汎用性を実証する。
  論文  参考訳（メタデータ） (2024-04-22T15:03:46Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Gradient Descent in Materio [3.756477173839499]
  材料システムにおいて, 損失関数の勾配降下を行うための, 効率的で正確なホモダイン勾配抽出法を示す。 これは、原則として勾配勾配勾配は、単純な電子を用いてマテオで完全に実装できることを示している。
  論文  参考訳（メタデータ） (2021-05-15T12:18:31Z)
• AutoInt: Automatic Integration for Fast Neural Volume Rendering [51.46232518888791]
  暗黙的ニューラル表現ネットワークを用いて、積分に対する効率的でクローズドな解を学習するための新しいフレームワークを提案する。 我々は,高速なニューラルボリュームレンダリングを実現するために,フォトリアリスティックな要件を10倍以上に改善したことを示す。
  論文  参考訳（メタデータ） (2020-12-03T05:46:10Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Reward Propagation Using Graph Convolutional Networks [61.32891095232801]
  本稿では,グラフ表現学習のアイデアを活用した潜在機能学習フレームワークを提案する。 我々のアプローチは、強化学習の確率論的推論と組み合わせて、重要な要素として使用するグラフ畳み込みネットワークに依存している。
  論文  参考訳（メタデータ） (2020-10-06T04:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。