論文の概要: Beyond accuracy: generalization properties of bio-plausible temporal
credit assignment rules
- arxiv url: http://arxiv.org/abs/2206.00823v1
- Date: Thu, 2 Jun 2022 01:39:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-03 14:56:59.441194
- Title: Beyond accuracy: generalization properties of bio-plausible temporal
credit assignment rules
- Title（参考訳）: 正確性を超えたバイオプルーシブル・タイムリークレジット割当ルールの一般化特性
- Authors: Yuhan Helena Liu, Arna Ghosh, Blake A. Richards, Eric Shea-Brown and
Guillaume Lajoie
- Abstract要約: 我々は,RNNのトレーニングにおける最先端の生物学的に有望な学習規則は,より悪く,より可変な一般化性能を示すことを示した。
力学系の道具を用いて理論的な議論を導き、この現象を説明する定理を提示する。
我々の分析は、人工的な学習ルールと生物学的に証明可能な学習ルールの間に、この一般化のギャップがある理由を初めて特定するものである。
- 参考スコア（独自算出の注目度）: 6.484759857565598
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: To unveil how the brain learns, ongoing work seeks biologically-plausible
approximations of gradient descent algorithms for training recurrent neural
networks (RNNs). Yet, beyond task accuracy, it is unclear if such learning
rules converge to solutions that exhibit different levels of generalization
than their nonbiologically-plausible counterparts. Leveraging results from deep
learning theory based on loss landscape curvature, we ask: how do
biologically-plausible gradient approximations affect generalization? We first
demonstrate that state-of-the-art biologically-plausible learning rules for
training RNNs exhibit worse and more variable generalization performance
compared to their machine learning counterparts that follow the true gradient
more closely. Next, we verify that such generalization performance is
correlated significantly with loss landscape curvature, and we show that
biologically-plausible learning rules tend to approach high-curvature regions
in synaptic weight space. Using tools from dynamical systems, we derive
theoretical arguments and present a theorem explaining this phenomenon. This
predicts our numerical results, and explains why biologically-plausible rules
lead to worse and more variable generalization properties. Finally, we suggest
potential remedies that could be used by the brain to mitigate this effect. To
our knowledge, our analysis is the first to identify the reason for this
generalization gap between artificial and biologically-plausible learning
rules, which can help guide future investigations into how the brain learns
solutions that generalize.
- Abstract（参考訳）: 脳がどのように学習するかを明らかにするために、進行中の研究は、リカレントニューラルネットワーク(RNN)をトレーニングするための勾配降下アルゴリズムの生物学的に証明可能な近似を求める。
しかし、タスクの精度を超えて、そのような学習規則が、非生物学的に証明可能な解とは異なる一般化のレベルを示す解に収束するかどうかは不明である。
ロスランドスケープ曲率に基づく深層学習理論の結果を活用し、:生物学的に可視な勾配近似は一般化にどのように影響するか?
我々はまず,rnnのトレーニングにおける最先端の生物学的評価可能な学習ルールが,真の勾配に従う機械学習と比べ,より悪い,より可変的な一般化性能を示すことを実証する。
次に,このような一般化性能がロスランドスケープ曲率と有意な相関があることを確認し,生物学的に評価可能な学習規則がシナプス重み空間の高曲率領域に接近する傾向を示した。
力学系の道具を用いて理論的な議論を導き、この現象を説明する定理を示す。
これは我々の数値結果を予測し、生物学的に評価可能な規則がより悪くより可変な一般化性をもたらす理由を説明する。
最後に、この効果を和らげるために脳が使う可能性のある治療法を提案する。
私たちの知る限りでは、私たちの分析は、人工的と生物学的に賞賛できる学習ルールの間のこの一般化のギャップの理由を特定する最初の方法です。
関連論文リスト
- Learning to refine domain knowledge for biological network inference [2.209921757303168]
摂動実験により、生物学者は興味のある変数間の因果関係を発見することができる。
これらのデータの空間性と高次元性は因果構造学習アルゴリズムに重大な課題をもたらす。
そこで本研究では,データ観測に基づくドメイン知識の補修アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-18T12:53:23Z) - Towards Demystifying the Generalization Behaviors When Neural Collapse
Emerges [132.62934175555145]
Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である
本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。
我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
論文 参考訳（メタデータ） (2023-10-12T14:29:02Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical
Development Patterns of Preterm Infants [73.85768093666582]
我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。
NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
論文 参考訳（メタデータ） (2023-01-01T12:48:12Z) - On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。
最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文 参考訳（メタデータ） (2022-08-16T21:22:34Z) - Applications of the Free Energy Principle to Machine Learning and
Neuroscience [0.0]
我々は、自由エネルギー原理にインスパイアされた手法を機械学習と神経科学の2つの重要な分野に適用する。
我々は、自由エネルギー原理から派生した神経生物学的に妥当なプロセス理論である予測符号化に焦点を当てる。
第2に、変動メッセージパッシングによる行動の神経生物学的根拠である能動推論について検討する。
最後に, 生物学的に有効な脳内クレジット代入法について検討した。
論文 参考訳（メタデータ） (2021-06-30T22:53:03Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳（メタデータ） (2021-03-08T11:52:51Z) - Learning While Dissipating Information: Understanding the Generalization
Capability of SGLD [9.328633662865682]
勾配ランゲヴィンダイナミクス(SGLD)を解析してアルゴリズム依存の一般化を導出する。
分析の結果,学習と情報伝達の複雑なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2021-02-05T03:18:52Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-08-01T00:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。