論文の概要: The Influence of Learning Rule on Representation Dynamics in Wide Neural Networks

• arxiv url: http://arxiv.org/abs/2210.02157v1
• Date: Wed, 5 Oct 2022 11:33:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 13:45:05.976584
• Title: The Influence of Learning Rule on Representation Dynamics in Wide Neural Networks
• Title（参考訳）: 広帯域ニューラルネットワークにおける表現ダイナミクスに及ぼす学習規則の影響
• Authors: Blake Bordelon, Cengiz Pehlevan
• Abstract要約: 我々は、フィードバックアライメント(FA)、ダイレクトフィードバックアライメント(DFA)、エラー変調ヘビアン学習(Hebb)で訓練された無限幅の深い勾配ネットワークを解析する。 これらの学習規則のそれぞれに対して、無限幅での出力関数の進化は、時間変化の有効なニューラルネットワークカーネル(eNTK)によって制御されることを示す。 遅延訓練限界では、このeNTKは静的であり、進化しないが、リッチ平均場状態では、このカーネルの進化は動的平均場理論(DMFT)と自己整合的に決定することができる。
• 参考スコア（独自算出の注目度）: 18.27510863075184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is unclear how changing the learning rule of a deep neural network alters its learning dynamics and representations. To gain insight into the relationship between learned features, function approximation, and the learning rule, we analyze infinite-width deep networks trained with gradient descent (GD) and biologically-plausible alternatives including feedback alignment (FA), direct feedback alignment (DFA), and error modulated Hebbian learning (Hebb), as well as gated linear networks (GLN). We show that, for each of these learning rules, the evolution of the output function at infinite width is governed by a time varying effective neural tangent kernel (eNTK). In the lazy training limit, this eNTK is static and does not evolve, while in the rich mean-field regime this kernel's evolution can be determined self-consistently with dynamical mean field theory (DMFT). This DMFT enables comparisons of the feature and prediction dynamics induced by each of these learning rules. In the lazy limit, we find that DFA and Hebb can only learn using the last layer features, while full FA can utilize earlier layers with a scale determined by the initial correlation between feedforward and feedback weight matrices. In the rich regime, DFA and FA utilize a temporally evolving and depth-dependent NTK. Counterintuitively, we find that FA networks trained in the rich regime exhibit more feature learning if initialized with smaller correlation between the forward and backward pass weights. GLNs admit a very simple formula for their lazy limit kernel and preserve conditional Gaussianity of their preactivations under gating functions. Error modulated Hebb rules show very small task-relevant alignment of their kernels and perform most task relevant learning in the last layer.
• Abstract（参考訳）: ディープニューラルネットワークの学習ルールの変更が学習のダイナミクスや表現をどのように変えるのかは不明だ。 学習特徴量,関数近似,学習規則の関係を明らかにするために,勾配降下(GD)で訓練された無限幅の深層ネットワークと,フィードバックアライメント(FA),ダイレクトフィードバックアライメント(DFA),エラー変調ヘビアン学習(Hebb),ゲート線形ネットワーク(GLN)などの生物学的に有望な代替品を解析した。 これらの学習規則のそれぞれにおいて、無限幅における出力関数の進化は、時間変化の有効な神経接核(entk)によって制御される。 遅延訓練限界では、このeNTKは静的であり、進化しないが、リッチ平均場法では、このカーネルの進化は動的平均場理論(DMFT)と独立に決定することができる。 このDMFTは、これらの学習規則によって引き起こされる特徴と予測力学の比較を可能にする。 遅延限界では、DFAとHebbは最終層の特徴しか学習できないのに対し、完全なFAは、フィードフォワードとフィードバックの重み行列の最初の相関によって決定されたスケールで以前の層を利用することができる。 豊かな体制では、DFAとFAは時間的に進化し、深さに依存するNTKを利用する。 直観的に言うと、リッチレジームで訓練されたfaネットワークは、前方と後方のパスウェイトの相関が小さい場合に初期化すれば、より多くの機能学習を示す。 GLN は遅延極限核に対して非常に単純な公式を認め、ゲーティング関数の下での条件付きガウス性を保持する。 エラー変調hebbルールは、カーネルのタスク関連アライメントが非常に小さく、最前層でタスク関連学習を実行する。

関連論文リスト

• Get rich quick: exact solutions reveal how unbalanced initializations promote rapid feature learning [26.07501953088188]
  本研究では,非平衡層固有の初期化分散と学習速度が特徴学習の度合いを決定するかを検討する。 分析の結果,保存量によって学習体制に影響を及ぼすことが示唆された。 我々は、この不均衡なリッチレジームが、深い有限幅ネットワークにおける特徴学習を駆動し、CNNにおける初期層の解釈可能性を促進し、階層データの学習の複雑さを減らし、モジュラー算術の時間を短縮することを示す。
  論文  参考訳（メタデータ） (2024-06-10T10:42:37Z)
• Dynamics of Finite Width Kernel and Prediction Fluctuations in Mean Field Neural Networks [47.73646927060476]
  広義だが有限な特徴学習ニューラルネットワークにおける有限幅効果のダイナミクスを解析する。 我々の結果は、特徴学習の強みにおいて非摂動的である。
  論文  参考訳（メタデータ） (2023-04-06T23:11:49Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• Scalable Partial Explainability in Neural Networks via Flexible Activation Functions [13.71739091287644]
  ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。 現在の最先端のNN解釈手法は、NN構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。 本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。
  論文  参考訳（メタデータ） (2020-06-10T20:30:15Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。