論文の概要: Algorithmic insights on continual learning from fruit flies

• arxiv url: http://arxiv.org/abs/2107.07617v1
• Date: Thu, 15 Jul 2021 21:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 00:13:34.909779
• Title: Algorithmic insights on continual learning from fruit flies
• Title（参考訳）: ショウジョウバエからの連続学習に関するアルゴリズム的洞察
• Authors: Yang Shen, Sanjoy Dasgupta, Saket Navlakha
• Abstract要約: コンピュータシステムにおける継続的な学習は、破滅的な忘れ物のために困難である。 この課題に対処する2層ニューラルネットワークをフルーツフライ嗅覚システムで発見した。 第1層では、臭気はスパースな高次元表現を用いて符号化され、メモリ干渉を減少させる。 第2層では、学習中に、臭気活性化ニューロンと臭気に関連する出力ニューロンとの間のシナプスのみを修飾する。
• 参考スコア（独自算出の注目度）: 22.34773145953582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning in computational systems is challenging due to catastrophic forgetting. We discovered a two layer neural circuit in the fruit fly olfactory system that addresses this challenge by uniquely combining sparse coding and associative learning. In the first layer, odors are encoded using sparse, high dimensional representations, which reduces memory interference by activating non overlapping populations of neurons for different odors. In the second layer, only the synapses between odor activated neurons and the output neuron associated with the odor are modified during learning; the rest of the weights are frozen to prevent unrelated memories from being overwritten. We show empirically and analytically that this simple and lightweight algorithm significantly boosts continual learning performance. The fly associative learning algorithm is strikingly similar to the classic perceptron learning algorithm, albeit two modifications, which we show are critical for reducing catastrophic forgetting. Overall, fruit flies evolved an efficient lifelong learning algorithm, and circuit mechanisms from neuroscience can be translated to improve machine computation.
• Abstract（参考訳）: コンピュータシステムの継続的な学習は、破滅的な忘れ物のために困難である。 我々は,この課題に対処するために,スパースコーディングと連想学習を一意に組み合わせた2層ニューラルネットワークをフルーツフライ嗅覚システムで発見した。 第1層では、匂いはスパースで高次元の表現で符号化され、異なる匂いのためにニューロンの重複しない集団を活性化することで記憶の干渉を減少させる。 第2の層では、嗅覚活性化ニューロンと匂いに関連する出力ニューロンとの間のシナプスのみが学習中に変化し、残りの重みは凍結され、無関係な記憶が過書きされるのを防ぐ。 この単純で軽量なアルゴリズムは継続学習性能を大幅に向上させることを示す。 ハエ連想学習アルゴリズムは従来のパーセプトロン学習アルゴリズムと非常によく似ているが、2つの修正がある。 全体として、フルーツハエは効率的な生涯学習アルゴリズムを進化させ、神経科学からの回路機構を翻訳して機械計算を改善することができる。

関連論文リスト

• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Spiking mode-based neural networks [2.5690340428649328]
  スパイキングニューラルネットワークは、脳のようなニューロモルフィック計算や神経回路の動作機構の研究において重要な役割を果たす。 大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新することは非常に高価であることだ。 本稿では,3つの行列のホップフィールド的乗算として繰り返し重み行列を記述したスパイキングモードベースのトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:54:17Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• The Role Of Biology In Deep Learning [0.0]
  この研究は、その歴史の一部を要約し、現代の理論神経科学をディープラーニングの分野から人工ニューラルネットワークの実験に取り入れている。 特に、反復等級プルーニングは、性能を損なうことなく、33倍の重量で疎結合ネットワークを訓練するために用いられる。 これらは、重量空間だけで画像ノイズの堅牢性を改善するという仮説をテストし、最終的に否定するために使用される。
  論文  参考訳（メタデータ） (2022-09-07T23:22:57Z)
• Some thoughts on catastrophic forgetting and how to learn an algorithm [0.0]
  我々は,二進数の追加に対して正しいアルゴリズムを復元するためにトレーニング可能な,異なるアーキテクチャを持つニューラルネットワークを提案する。 ニューラルネットワークは破滅的な忘れ物に苦しむだけでなく、トレーニングが進むにつれて、目に見えない数字の予測能力を向上させる。
  論文  参考訳（メタデータ） (2021-08-09T11:12:43Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Faster Biological Gradient Descent Learning [0.0]
  バックプロパゲーション(back-proagation)は、ニューラルネットワークのトレーニングと教師あり学習に勾配勾配を利用する、一般的な機械学習アルゴリズムである。 トレーニング時間を短縮できる単純で局所的な勾配勾配勾配最適化アルゴリズムを考案した。 我々のアルゴリズムは、特に小さなネットワークで学習を高速化する。
  論文  参考訳（メタデータ） (2020-09-27T05:26:56Z)
• Learning compositional functions via multiplicative weight updates [97.9457834009578]
  乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。 マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2020-06-25T17:05:19Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。