論文の概要: The Influence of Initial Connectivity on Biologically Plausible Learning
- arxiv url: http://arxiv.org/abs/2410.11164v3
- Date: Thu, 09 Jan 2025 20:10:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-13 15:25:05.243226
- Title: The Influence of Initial Connectivity on Biologically Plausible Learning
- Title（参考訳）: 初歩的接続性が生物学的に可塑性学習に及ぼす影響
- Authors: Weixuan Liu, Xinyue Zhang, Yuhan Helena Liu,
- Abstract要約: ディープラーニングからの洞察に基づいて、ニューラルサーキットにおける初期シナプス接続形状学習はどうすればよいのか?
以上の結果から,初歩重みが学習成績に有意な影響を及ぼすことが明らかとなった。
我々は,リアプノフ指数を正規化する最近提案された勾配フロス法を生物学的に妥当な学習に拡張し,学習性能の向上を観察した。
- 参考スコア（独自算出の注目度）: 5.696996963267851
- License:
- Abstract: Understanding how the brain learns can be advanced by investigating biologically plausible learning rules -- those that obey known biological constraints, such as locality, to serve as valid brain learning models. Yet, many studies overlook the role of architecture and initial synaptic connectivity in such models. Building on insights from deep learning, where initialization profoundly affects learning dynamics, we ask a key but underexplored neuroscience question: how does initial synaptic connectivity shape learning in neural circuits? To investigate this, we train recurrent neural networks (RNNs), which are widely used for brain modeling, with biologically plausible learning rules. Our findings reveal that initial weight magnitude significantly influences the learning performance of such rules, mirroring effects previously observed in training with backpropagation through time (BPTT). By examining the maximum Lyapunov exponent before and after training, we uncovered the greater demands that certain initialization schemes place on training to achieve desired information propagation properties. Consequently, we extended the recently proposed gradient flossing method, which regularizes the Lyapunov exponents, to biologically plausible learning and observed an improvement in learning performance. To our knowledge, we are the first to examine the impact of initialization on biologically plausible learning rules for RNNs and to subsequently propose a biologically plausible remedy. Such an investigation can lead to neuroscientific predictions about the influence of initial connectivity on learning dynamics and performance, as well as guide neuromorphic design.
- Abstract（参考訳）: 脳がどのように学習するかを理解するには、生物学的に妥当な学習規則(局所性などの既知の生物学的制約に従うもの)を調査し、有効な脳学習モデルとして機能させることが考えられる。
しかし、多くの研究はそのようなモデルにおけるアーキテクチャと初期シナプス接続の役割を見落としている。
深層学習の洞察に基づいて、初期化が学習のダイナミクスに深く影響する。我々は、重要なが未探索の神経科学の質問に答える: 神経回路における初期シナプス接続の形状学習は、どのようにして行われるのか?
そこで我々は,脳のモデリングに広く用いられているリカレントニューラルネットワーク(RNN)を,生物学的に妥当な学習規則で訓練する。
以上の結果から,初歩重みが学習成績に有意な影響を及ぼすことが明らかとなった。
学習前後のラプノフ指数の最大値を調べることで,所望の情報伝達特性を達成するための訓練において,特定の初期化スキームが成立するというより大きな要求を明らかにすることができた。
その結果,リアプノフ指数を正則化した最近提案された勾配フロス法を生物学的に妥当な学習に拡張し,学習性能の向上を観察した。
本研究は, RNNにおける初期化が生物学的に妥当な学習ルールに与える影響を初めて検討し, その後, 生物学的に妥当な治療法を提案する。
このような調査は、初期接続が学習力学と性能に与える影響に関する神経科学的予測や、神経形設計のガイドにつながる可能性がある。
関連論文リスト
- From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。
以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。
これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
論文 参考訳（メタデータ） (2024-09-22T23:19:04Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。
我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。
ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
論文 参考訳（メタデータ） (2024-09-04T02:38:52Z) - Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳（メタデータ） (2024-07-05T14:11:28Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - How connectivity structure shapes rich and lazy learning in neural
circuits [14.236853424595333]
本稿では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。
本研究は,学習体制形成における初期重み構造の役割を明らかにするものである。
論文 参考訳（メタデータ） (2023-10-12T17:08:45Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Distinguishing Learning Rules with Brain Machine Interfaces [0.0]
生物学的に妥当な教師付きおよび強化学習ルールを検討する。
学習中のネットワーク活動の変化を観察することにより,学習ルールを区別する指標を導出する。
論文 参考訳（メタデータ） (2022-06-27T16:58:30Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳（メタデータ） (2021-11-25T13:24:19Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Equilibrium Propagation for Complete Directed Neural Networks [0.0]
最も成功したニューラルネットワークの学習アルゴリズム、バックプロパゲーションは生物学的に不可能であると考えられている。
我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
論文 参考訳（メタデータ） (2020-06-15T22:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。