論文の概要: Learning by non-interfering feedback chemical signaling in physical networks

• arxiv url: http://arxiv.org/abs/2203.12098v1
• Date: Tue, 22 Mar 2022 23:34:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 09:50:20.469082
• Title: Learning by non-interfering feedback chemical signaling in physical networks
• Title（参考訳）: 物理ネットワークにおける非干渉フィードバック化学信号による学習
• Authors: Vidyesh Rao Anisetti, B. Scellier, J. M. Schwarz
• Abstract要約: 本稿では,2つの異なる状態の保存を必要としない化学信号処理に根ざした新しい学習アルゴリズムを提案する。 物理線形フローネットワークを用いてアルゴリズムを適用し,93%の精度でIrisデータセットを用いて試行する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both non-neural and neural biological systems can learn. So rather than focusing on purely brain-like learning, efforts are underway to study learning in physical systems. Such efforts include equilibrium propagation (EP) and coupled learning (CL), which require storage of two different states-the free state and the perturbed state-during the learning process to retain information about gradients. Inspired by slime mold, we propose a new learning algorithm rooted in chemical signaling that does not require storage of two different states. Rather, the output error information is encoded in a chemical signal that diffuses into the network in a similar way as the activation/feedforward signal. The steady state feedback chemical concentration, along with the activation signal, stores the required gradient information locally. We apply our algorithm using a physical, linear flow network and test it using the Iris data set with 93% accuracy. We also prove that our algorithm performs gradient descent. Finally, in addition to comparing our algorithm directly with EP and CL, we address the biological plausibility of the algorithm.
• Abstract（参考訳）: 非神経系と神経系の両方が学べる。 したがって、純粋に脳のような学習に焦点を合わせるのではなく、物理システムにおける学習を研究するための取り組みが進行中である。 このような取り組みには、均衡伝播(ep)と結合学習(cl)があり、2つの異なる状態(自由状態)と摂動状態(摂動状態)の保存を必要とする。 スライムモールドに着想を得て, 2つの異なる状態の保存を必要としない化学信号処理に根ざした新しい学習アルゴリズムを提案する。 むしろ、出力エラー情報は、アクティベーション/フェードフォワード信号と似た方法でネットワークに拡散する化学信号に符号化される。 定常フィードバック化学濃度は、活性化信号とともに、必要な勾配情報を局所的に記憶する。 物理線形フローネットワークを用いてアルゴリズムを適用し,93%の精度でIrisデータセットを用いて試行する。 また,アルゴリズムが勾配降下を行うことを示す。 最後に,本アルゴリズムをEPとCLと直接比較することに加えて,アルゴリズムの生物学的妥当性について考察する。

関連論文リスト

• Towards Biologically Plausible Computing: A Comprehensive Comparison [24.299920289520013]
  バックプロパゲーションは、教師あり学習のためのニューラルネットワークのトレーニングの基盤となるアルゴリズムである。 バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二重位相学習の要求により疑問視される。 本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
  論文  参考訳（メタデータ） (2024-06-23T09:51:20Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Information Bottleneck-Based Hebbian Learning Rule Naturally Ties Working Memory and Synaptic Updates [0.0]
  私たちは、バックプロパゲーションとその関連する問題を完全に回避する、別のアプローチを取っています。 深層学習における最近の研究は、情報ボトルネック(IB)を介してネットワークの各層を個別に訓練することを提案した。 この変調信号は、貯水池のような動作記憶を持つ補助回路で学習可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-24T17:38:32Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Convergence and Alignment of Gradient Descentwith Random Back propagation Weights [6.338178373376447]
  バックプロパゲーションによる勾配降下は 人工ニューラルネットワークの 働き方です Lillicrapらは、ランダムなバックプロパゲーションと固定されたバックプロパゲーションの重みを利用する、生物学的にもっともらしい「フィードバックアライメント」アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:58:05Z)
• Faster Biological Gradient Descent Learning [0.0]
  バックプロパゲーション(back-proagation)は、ニューラルネットワークのトレーニングと教師あり学習に勾配勾配を利用する、一般的な機械学習アルゴリズムである。 トレーニング時間を短縮できる単純で局所的な勾配勾配勾配最適化アルゴリズムを考案した。 我々のアルゴリズムは、特に小さなネットワークで学習を高速化する。
  論文  参考訳（メタデータ） (2020-09-27T05:26:56Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Neural network quantum state tomography in a two-qubit experiment [52.77024349608834]
  機械学習にインスパイアされた変分法は、量子シミュレータのスケーラブルな状態キャラクタリゼーションへの有望な経路を提供する。 本研究では,2ビットの絡み合った状態を生成する実験から得られた測定データに適用することにより,いくつかの手法をベンチマークし比較する。 実験的な不完全性やノイズの存在下では、変動多様体を物理状態に収束させることで、再構成された状態の質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-31T17:25:12Z)
• Kernelized information bottleneck leads to biologically plausible 3-factor Hebbian learning in deep networks [6.09170287691728]
  これらの問題に苦しむことのない学習ルールのファミリーを提示する。 結果として生じる規則は3要素のヘビアン構造を持つ。 正確なラベルは必要とせず、代わりに所望の出力のペア間の類似性に依存する。
  論文  参考訳（メタデータ） (2020-06-12T12:30:53Z)
• Equilibrium Propagation with Continual Weight Updates [69.87491240509485]
  時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算し、機械学習と神経科学を橋渡しする学習アルゴリズムを提案する。 理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTTが与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。 これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。
  論文  参考訳（メタデータ） (2020-04-29T14:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。