論文の概要: Faster Biological Gradient Descent Learning

• arxiv url: http://arxiv.org/abs/2009.12745v1
• Date: Sun, 27 Sep 2020 05:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:08:45.549740
• Title: Faster Biological Gradient Descent Learning
• Title（参考訳）: より高速な生物学的グラディエントDescent Learning
• Authors: Ho Ling Li
• Abstract要約: バックプロパゲーション(back-proagation)は、ニューラルネットワークのトレーニングと教師あり学習に勾配勾配を利用する、一般的な機械学習アルゴリズムである。 トレーニング時間を短縮できる単純で局所的な勾配勾配勾配最適化アルゴリズムを考案した。 我々のアルゴリズムは、特に小さなネットワークで学習を高速化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Back-propagation is a popular machine learning algorithm that uses gradient descent in training neural networks for supervised learning, but can be very slow. A number of algorithms have been developed to speed up convergence and improve robustness of the learning. However, they are complicated to implement biologically as they require information from previous updates. Inspired by synaptic competition in biology, we have come up with a simple and local gradient descent optimization algorithm that can reduce training time, with no demand on past details. Our algorithm, named dynamic learning rate (DLR), works similarly to the traditional gradient descent used in back-propagation, except that instead of having a uniform learning rate across all synapses, the learning rate depends on the current neuronal connection weights. Our algorithm is found to speed up learning, particularly for small networks.
• Abstract（参考訳）: バックプロパゲーション(back-propagation)は、ニューラルネットワークのトレーニングに勾配降下を用いる、一般的な機械学習アルゴリズムである。 収束を高速化し、学習の堅牢性を改善するために、多くのアルゴリズムが開発されている。 しかし、以前の更新情報を必要とするため、生物学的に実装するのは複雑である。 生物学におけるシナプスの競争に触発されて、過去の詳細を必要とせずにトレーニング時間を短縮できる単純で局所的な勾配勾配最適化アルゴリズムを考案した。 私たちのアルゴリズムはdynamic learning rate(dlr)と呼ばれ、バックプロパゲーションで使われる従来の勾配降下法と同様に動作するが、全てのシナプスに均一な学習率を持つ代わりに、学習速度は現在のニューロンの結合重みに依存する。 我々のアルゴリズムは、特に小さなネットワークで学習を高速化する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Neuromorphic Online Learning for Spatiotemporal Patterns with a Forward-only Timeline [5.094970748243019]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、高エネルギー効率のバイオプレースブルコンピューティングモデルである。 BPTT(Back Proagation Through Time)は、伝統的にSNNのトレーニングに使用される。 SNNのオンライン学習に特化して設計されたSOLSA(Spatiotemporal Online Learning for Synaptic Adaptation)を提案する。
  論文  参考訳（メタデータ） (2023-07-21T02:47:03Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Thalamus: a brain-inspired algorithm for biologically-plausible continual learning and disentangled representations [0.0]
  動物は絶えず変化する環境の中で成長し、時間構造を利用して因果表現を学ぶ。 本稿では,時間的文脈の内部表現を生成するために,推論時に最適化を利用する単純なアルゴリズムを提案する。 従来の重み付け更新を用いて一連のタスクをトレーニングしたネットワークが,タスクを動的に推論できることを示す。 次に、ウェイト更新と潜伏更新を交互に切り替えて、未ラベルのタスクストリーム内の非絡み合った表現を発見することができるタスク非依存のアルゴリズムであるTalamusに到達します。
  論文  参考訳（メタデータ） (2022-05-24T01:29:21Z)
• Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
  本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。 具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。 我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-22T17:56:59Z)
• MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents [0.0]
  ニューラルネットワークをトレーニングする別の方法は、ネットワークの各ユニットを強化学習エージェントとして扱うことである。 本稿では,この分散を著しく低減するMAP伝搬という新しいアルゴリズムを提案する。 当社の作業は、深層強化学習におけるエージェントチームの広範な適用を可能にします。
  論文  参考訳（メタデータ） (2020-10-15T17:17:39Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Gradient-only line searches to automatically determine learning rates for a variety of stochastic training algorithms [0.0]
  Inexact (GOLS-I) である Gradient-Only Line Search を用いて、ニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを決定する。 GOLS-Iの学習率スケジュールは、手動で調整された学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合する。
  論文  参考訳（メタデータ） (2020-06-29T08:59:31Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。