論文の概要: Synaptic Dynamics Realize First-order Adaptive Learning and Weight Symmetry

• arxiv url: http://arxiv.org/abs/2212.09440v1
• Date: Thu, 1 Dec 2022 17:04:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 03:10:30.229149
• Title: Synaptic Dynamics Realize First-order Adaptive Learning and Weight Symmetry
• Title（参考訳）: 1次適応学習と重み対称性を実現するシナプスダイナミクス
• Authors: Yukun Yang, Peng Li
• Abstract要約: 我々は, シナプスにおける生物学的に証明可能な機構を用いて, アダム粒子の実現を実証した。 本稿では, 後方伝搬における重量輸送問題の生物学的不確実性を回避するための新しいアプローチを提案する。 これらのメカニズムは、生物学的シナプス力学が学習を促進する過程に光を放つ可能性がある。
• 参考スコア（独自算出の注目度）: 7.601127912271984
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Gradient-based first-order adaptive optimization methods such as the Adam optimizer are prevalent in training artificial networks, achieving the state-of-the-art results. This work attempts to answer the question whether it is viable for biological neural systems to adopt such optimization methods. To this end, we demonstrate a realization of the Adam optimizer using biologically-plausible mechanisms in synapses. The proposed learning rule has clear biological correspondence, runs continuously in time, and achieves performance to comparable Adam's. In addition, we present a new approach, inspired by the predisposition property of synapses observed in neuroscience, to circumvent the biological implausibility of the weight transport problem in backpropagation (BP). With only local information and no separate training phases, this method establishes and maintains weight symmetry in the forward and backward signaling paths, and is applicable to the proposed biologically plausible Adam learning rule. These mechanisms may shed light on the way in which biological synaptic dynamics facilitate learning.
• Abstract（参考訳）: adamオプティマイザのような勾配に基づく一階適応最適化手法は、人工ネットワークのトレーニングにおいて一般的であり、最先端の結果が得られる。 この研究は、生物学的ニューラルネットワークがこのような最適化手法を採用することが可能かどうかという疑問に答えようとしている。 そこで本研究では,生物学的に可視な機構を用いてadamオプティマイザの実現を実証する。 提案した学習規則は,生物学的対応が明確で,連続的に動作し,Adamに匹敵する性能を発揮する。 さらに,神経科学において観察されるシナプスの沈着特性から着想を得た新しいアプローチを提案し,後部プロパゲーション(BP)における重量輸送問題の生物学的不確実性を回避した。 局所的な情報のみと独立したトレーニングフェーズを持たず、前方および後方のシグナル伝達経路における重み対称性を確立し維持し、提案する生物学的に妥当なadam学習規則に適用できる。 これらのメカニズムは、生物学的シナプス力学が学習を促進する過程に光を放つ可能性がある。

関連論文リスト

• MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
  筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
  論文  参考訳（メタデータ） (2024-04-16T02:18:18Z)
• Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
  $k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。 k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-12-15T14:04:23Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Learning efficient backprojections across cortical hierarchies in real time [1.6474865533365743]
  階層型大脳皮質階層における効率的なフィードバック重み付けを学習するための生物工学的手法を提案する。 すべての重みは、常にオンの可塑性と同時に学習され、シナプスにローカルに利用可能な情報のみを使用する。 提案手法は幅広いモデルに適用可能であり, 既知の生物学的に妥当な信用代入方法を改善する。
  論文  参考訳（メタデータ） (2022-12-20T13:54:04Z)
• Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways [0.0]
  我々は,解釈可能で生物学的に妥当な可塑性規則を発見するための新しいメタ可塑性法を開発した。 本研究は,生物の制約を満たす効果的な,解釈可能な学習規則を見出すためのメタ塑性の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2022-10-28T21:40:56Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Convergence and Alignment of Gradient Descentwith Random Back propagation Weights [6.338178373376447]
  バックプロパゲーションによる勾配降下は 人工ニューラルネットワークの 働き方です Lillicrapらは、ランダムなバックプロパゲーションと固定されたバックプロパゲーションの重みを利用する、生物学的にもっともらしい「フィードバックアライメント」アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:58:05Z)
• Meta-Learning through Hebbian Plasticity in Random Networks [12.433600693422235]
  生涯学習と適応性は生物学的エージェントの2つの決定的な側面である。 この生物学的メカニズムに着想を得て,シナプス固有のヘビアン学習規則のみを探索する探索法を提案する。 完全にランダムな重みから始めると、発見されたヘビーンの規則により、エージェントは動的2Dピクセル環境をナビゲートできる。
  論文  参考訳（メタデータ） (2020-07-06T14:32:31Z)
• Equilibrium Propagation for Complete Directed Neural Networks [0.0]
  最も成功したニューラルネットワークの学習アルゴリズム、バックプロパゲーションは生物学的に不可能であると考えられている。 我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
  論文  参考訳（メタデータ） (2020-06-15T22:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。