論文の概要: Stochastic Gradient Descent-induced drift of representation in a two-layer neural network

• arxiv url: http://arxiv.org/abs/2302.02563v1
• Date: Mon, 6 Feb 2023 04:56:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 17:30:27.751757
• Title: Stochastic Gradient Descent-induced drift of representation in a two-layer neural network
• Title（参考訳）: 2層ニューラルネットワークにおける確率勾配Descentによる表現のドリフト
• Authors: Farhad Pashakhanloo, Alexei Koulakov
• Abstract要約: 脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。 ピリフォーム大脳皮質における刺激依存性のドリフトに関する最近の実験結果に触発されて、我々はこの現象を2層線形フィードフォワードネットワークで研究するために理論とシミュレーションを用いた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representational drift refers to over-time changes in neural activation accompanied by a stable task performance. Despite being observed in the brain and in artificial networks, the mechanisms of drift and its implications are not fully understood. Motivated by recent experimental findings of stimulus-dependent drift in the piriform cortex, we use theory and simulations to study this phenomenon in a two-layer linear feedforward network. Specifically, in a continual learning scenario, we study the drift induced by the noise inherent in the Stochastic Gradient Descent (SGD). By decomposing the learning dynamics into the normal and tangent spaces of the minimum-loss manifold, we show the former correspond to a finite variance fluctuation, while the latter could be considered as an effective diffusion process on the manifold. We analytically compute the fluctuation and the diffusion coefficients for the stimuli representations in the hidden layer as a function of network parameters and input distribution. Further, consistent with experiments, we show that the drift rate is slower for a more frequently presented stimulus. Overall, our analysis yields a theoretical framework for better understanding of the drift phenomenon in biological and artificial neural networks.
• Abstract（参考訳）: 表現的ドリフト(representational drift)とは、安定したタスクパフォーマンスを伴う神経活動の過度な変化を指す。 脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。 近年の梨状皮質における刺激依存性ドリフトの実験結果に動機づけられ,理論とシミュレーションを用いて2層リニアフィードフォワードネットワークでこの現象を研究する。 具体的には,連続学習シナリオにおいて,確率的勾配降下(sgd)に内在する雑音によって引き起こされるドリフトについて検討する。 学習力学を最小損失多様体の正規空間と接空間に分解することにより、前者は有限変動変動変動に対応し、後者は多様体上の効果的な拡散過程と見なすことができる。 ネットワークパラメータと入力分布の関数として,隠れ層における刺激表現のゆらぎと拡散係数を解析的に計算する。 さらに,実験と整合して,より頻繁に提示される刺激に対してドリフト速度が遅いことを示す。 全体として、我々の分析は、生物学的および人工ニューラルネットワークにおけるドリフト現象をよりよく理解するための理論的枠組みをもたらす。

関連論文リスト

• Elucidating the theoretical underpinnings of surrogate gradient learning in spiking neural networks [5.271584191900265]
  脳内の情報処理を研究するには、スパイクニューラルネットワークのトレーニングが不可欠である。 スパイクのバイナリの性質は、直接勾配に基づくトレーニングの課題となっている。 ここでは、代理勾配と理論的に確立された2つのアプローチとの関係について検討する。
  論文  参考訳（メタデータ） (2024-04-23T12:20:09Z)
• On the dynamics of three-layer neural networks: initial condensation [2.022855152231054]
  凝縮は、勾配法が自然にニューラルネットワークの複雑さを減少させるときに起こる。 有効動力学の爆破特性を確立し, 凝縮の発生に十分な条件を示す。 また, 深部行列分解における凝縮と低ランクバイアスの関係についても検討した。
  論文  参考訳（メタデータ） (2024-02-25T02:36:14Z)
• The twin peaks of learning neural networks [3.382017614888546]
  近年の研究では、ニューラルネットワークの一般化誤差に対する二重発光現象の存在が示されている。 この現象とニューラルネットワークで表される関数の複雑さと感度の増大との関係について検討する。
  論文  参考訳（メタデータ） (2024-01-23T10:09:14Z)
• SGD with Large Step Sizes Learns Sparse Features [22.959258640051342]
  本稿では、ニューラルネットワークのトレーニングにおいて、グラディエント・ディフレッシュ(SGD)のダイナミクスの重要な特徴を紹介する。 より長いステップサイズでは、損失ランドスケープにおいてSGDは高く保たれ、暗黙の正規化がうまく機能し、スパース表現を見つけることができる。
  論文  参考訳（メタデータ） (2022-10-11T11:00:04Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• A Predictive Coding Account for Chaotic Itinerancy [68.8204255655161]
  予測符号化を実装したリカレントニューラルネットワークが,入力雑音の存在下でカオス的反復性に類似したニューラルトラジェクトリを生成する方法を示す。 本モデルを用いて,無作為かつ非依存なトラジェクタスイッチングトラジェクトリを生成する2つのシナリオを提案する。
  論文  参考訳（メタデータ） (2021-06-16T16:48:14Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。