論文の概要: Survival of the Fittest Representation: A Case Study with Modular Addition
- arxiv url: http://arxiv.org/abs/2405.17420v1
- Date: Mon, 27 May 2024 17:59:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 13:52:58.348602
- Title: Survival of the Fittest Representation: A Case Study with Modular Addition
- Title（参考訳）: Fittest Representation の生存例 : モジュラー付加による検討
- Authors: Xiaoman Delores Ding, Zifan Carl Guo, Eric J. Michaud, Ziming Liu, Max Tegmark,
- Abstract要約: ニューラルネットワークが、タスクを解決するために、異なる表現間で「選択」する方法について検討する。
高い初期信号と勾配の周波数である「最適」が生き残る可能性が高くなる。
種間の力学を記述するロトカ・ボルテラ方程式に着想を得た結果、円の力学は線形微分方程式の集合によってうまく特徴づけられることが判明した。
- 参考スコア（独自算出の注目度）: 15.474503899131943
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a neural network can learn multiple distinct algorithms to solve a task, how does it "choose" between them during training? To approach this question, we take inspiration from ecology: when multiple species coexist, they eventually reach an equilibrium where some survive while others die out. Analogously, we suggest that a neural network at initialization contains many solutions (representations and algorithms), which compete with each other under pressure from resource constraints, with the "fittest" ultimately prevailing. To investigate this Survival of the Fittest hypothesis, we conduct a case study on neural networks performing modular addition, and find that these networks' multiple circular representations at different Fourier frequencies undergo such competitive dynamics, with only a few circles surviving at the end. We find that the frequencies with high initial signals and gradients, the "fittest," are more likely to survive. By increasing the embedding dimension, we also observe more surviving frequencies. Inspired by the Lotka-Volterra equations describing the dynamics between species, we find that the dynamics of the circles can be nicely characterized by a set of linear differential equations. Our results with modular addition show that it is possible to decompose complicated representations into simpler components, along with their basic interactions, to offer insight on the training dynamics of representations.
- Abstract（参考訳）: ニューラルネットワークがタスクを解くために複数の異なるアルゴリズムを学習できる場合、トレーニング中にどのように"選択"するのでしょうか?
この問題にアプローチするために、私たちはエコロジーからインスピレーションを得ます。複数の種が共存すると、最終的には平衡に達し、一部は生き残り、他の種は死にます。
対照的に、初期化時のニューラルネットワークには、リソース制約からのプレッシャーの下で互いに競合する多くのソリューション(表現とアルゴリズム)が含まれており、最終的には「最も適した」ことが一般的である。
このフィトテスト仮説の生存について研究するために、モジュラー加算を行うニューラルネットワークのケーススタディを行い、これらのネットワークの異なるフーリエ周波数における複数の円形表現が、このような競合ダイナミクスを実行し、最後に数円しか残っていないことを発見した。
高い初期信号と勾配の周波数である「最適」が生き残る可能性が高くなる。
埋め込み次元を増大させることで、より生き残った周波数も観測できる。
種間の力学を記述するロトカ・ボルテラ方程式に着想を得た結果、円の力学は線形微分方程式の集合によってうまく特徴づけられることが判明した。
モジュール化の追加による結果から,複雑な表現を単純なコンポーネントに分解し,それらの基本的な相互作用と組み合わせることで,表現のトレーニング力学に関する洞察を与えることが可能であることが示唆された。
関連論文リスト
- A simple theory for training response of deep neural networks [0.0]
ディープニューラルネットワークは、トレーニングデータセットの入力と出力の関係をモデル化する強力な方法を提供します。
トレーニング段階、アクティベーション機能、トレーニング方法に基づいて、トレーニング応答がいくつかの異なる要因から成り立っていることを示す。
さらに,ネットワークの脆弱性を生じさせるトレーニング力学の効果として,特徴空間の削減を示す。
論文 参考訳（メタデータ） (2024-05-07T07:20:15Z) - Modular Boundaries in Recurrent Neural Networks [39.626497874552555]
我々は、モジュール性として知られるネットワーク科学のコミュニティ検出手法を用いて、ニューロンを異なるモジュールに分割する。
これらのモジュラー境界はシステムにとって重要か?
論文 参考訳（メタデータ） (2023-10-31T16:37:01Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Conditional physics informed neural networks [85.48030573849712]
固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。
一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
論文 参考訳（メタデータ） (2021-04-06T18:29:14Z) - Convergence dynamics of Generative Adversarial Networks: the dual metric
flows [0.0]
機械学習におけるGenerative Adversarial Networksの収束性について検討する。
学習速度の制限について検討し,単一ネットワーク学習と同様にgan学習ダイナミクスはある程度の限界ダイナミクスまで消失する傾向があることを示した。
論文 参考訳（メタデータ） (2020-12-18T18:00:12Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - An analytic theory of shallow networks dynamics for hinge loss
classification [14.323962459195771]
我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。
我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。
これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
論文 参考訳（メタデータ） (2020-06-19T16:25:29Z) - Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。
我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。
残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
論文 参考訳（メタデータ） (2020-01-07T13:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。