論文の概要: How Initial Connectivity Shapes Biologically Plausible Learning in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2410.11164v2
• Date: Thu, 17 Oct 2024 00:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:31.103097
• Title: How Initial Connectivity Shapes Biologically Plausible Learning in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおける初期接続性がどのように生物学的にプラウザブルな学習を形作るか
• Authors: Weixuan Liu, Xinyue Zhang, Yuhan Helena Liu,
• Abstract要約: リカレントニューラルネットワーク(RNN)の学習における初期接続性の影響について検討した。 その結果,初歩重みは生物学的に妥当な学習規則の学習性能に著しく影響を及ぼすことがわかった。 我々は,リアプノフ指数を正規化する最近提案された勾配フロス法を生物学的に妥当な学習に拡張した。
• 参考スコア（独自算出の注目度）: 5.696996963267851
• License:
• Abstract: The impact of initial connectivity on learning has been extensively studied in the context of backpropagation-based gradient descent, but it remains largely underexplored in biologically plausible learning settings. Focusing on recurrent neural networks (RNNs), we found that the initial weight magnitude significantly influences the learning performance of biologically plausible learning rules in a similar manner to its previously observed effect on training via backpropagation through time (BPTT). By examining the maximum Lyapunov exponent before and after training, we uncovered the greater demands that certain initialization schemes place on training to achieve desired information propagation properties. Consequently, we extended the recently proposed gradient flossing method, which regularizes the Lyapunov exponents, to biologically plausible learning and observed an improvement in learning performance. To our knowledge, we are the first to examine the impact of initialization on biologically plausible learning rules for RNNs and to subsequently propose a biologically plausible remedy. Such an investigation could lead to predictions about the influence of initial connectivity on learning dynamics and performance, as well as guide neuromorphic design.
• Abstract（参考訳）: 初期の接続性が学習に与える影響は、バックプロパゲーションに基づく勾配降下の文脈で広く研究されてきたが、生物学的に実証可能な学習環境では、ほとんど探索されていない。 リカレントニューラルネットワーク(RNN)に着目した結果,初歩重みが生物学的に妥当な学習規則の学習性能に有意な影響を及ぼすことがわかった。 学習前後のラプノフ指数の最大値を調べることで,所望の情報伝達特性を達成するための訓練において,特定の初期化スキームが成立するというより大きな要求を明らかにすることができた。 その結果,リアプノフ指数を正則化した最近提案された勾配フロス法を生物学的に妥当な学習に拡張し,学習性能の向上を観察した。 本研究は, RNNにおける初期化が生物学的に妥当な学習ルールに与える影響を初めて検討し, その後, 生物学的に妥当な治療法を提案する。 このような調査は、初期接続が学習力学と性能に与える影響や、神経形設計のガイドにつながる可能性がある。

関連論文リスト

• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• How connectivity structure shapes rich and lazy learning in neural circuits [14.236853424595333]
  本稿では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。 本研究は,学習体制形成における初期重み構造の役割を明らかにするものである。
  論文  参考訳（メタデータ） (2023-10-12T17:08:45Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Solvable Model for Inheriting the Regularization through Knowledge Distillation [2.944323057176686]
  本稿では,知識蒸留の特性を解析的に評価できる統計物理フレームワークを提案する。 KDにより、より大規模な教師モデルの正規化特性を、より小さな学生に継承できることが示される。 また、検討されたKD設定で生じる二重降下現象を解析する。
  論文  参考訳（メタデータ） (2020-12-01T01:01:34Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Bio-plausible Unsupervised Delay Learning for Extracting Temporal Features in Spiking Neural Networks [0.548253258922555]
  ニューロン間の伝導遅延の可塑性は、学習において基本的な役割を果たす。 シナプス遅延の正確な調整を理解することは、効果的な脳にインスパイアされた計算モデルを開発するのに役立ちます。
  論文  参考訳（メタデータ） (2020-11-18T16:25:32Z)
• Identifying Learning Rules From Neural Network Observables [26.96375335939315]
  学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。 本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
  論文  参考訳（メタデータ） (2020-10-22T14:36:54Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Equilibrium Propagation for Complete Directed Neural Networks [0.0]
  最も成功したニューラルネットワークの学習アルゴリズム、バックプロパゲーションは生物学的に不可能であると考えられている。 我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
  論文  参考訳（メタデータ） (2020-06-15T22:12:30Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。