論文の概要: The Neural Race Reduction: Dynamics of Abstraction in Gated Networks

• arxiv url: http://arxiv.org/abs/2207.10430v1
• Date: Thu, 21 Jul 2022 12:01:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 12:26:51.847845
• Title: The Neural Race Reduction: Dynamics of Abstraction in Gated Networks
• Title（参考訳）: ニューラルレースの低減:ゲーテッドネットワークにおける抽象化のダイナミクス
• Authors: Andrew M. Saxe, Shagun Sodhani, Sam Lewallen
• Abstract要約: 本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
• 参考スコア（独自算出の注目度）: 12.130628846129973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our theoretical understanding of deep learning has not kept pace with its empirical success. While network architecture is known to be critical, we do not yet understand its effect on learned representations and network behavior, or how this architecture should reflect task structure.In this work, we begin to address this gap by introducing the Gated Deep Linear Network framework that schematizes how pathways of information flow impact learning dynamics within an architecture. Crucially, because of the gating, these networks can compute nonlinear functions of their input. We derive an exact reduction and, for certain cases, exact solutions to the dynamics of learning. Our analysis demonstrates that the learning dynamics in structured networks can be conceptualized as a neural race with an implicit bias towards shared representations, which then govern the model's ability to systematically generalize, multi-task, and transfer. We validate our key insights on naturalistic datasets and with relaxed assumptions. Taken together, our work gives rise to general hypotheses relating neural architecture to learning and provides a mathematical approach towards understanding the design of more complex architectures and the role of modularity and compositionality in solving real-world problems. The code and results are available at https://www.saxelab.org/gated-dln .
• Abstract（参考訳）: 深層学習の理論的な理解は、その経験的な成功には至っていません。 ネットワークアーキテクチャは批判的であることは知られているが,その学習表現やネットワーク動作への影響,あるいはこのアーキテクチャがタスク構造をどのように反映すべきか,我々はまだ理解していない。本研究では,情報フローの経路がアーキテクチャ内の学習ダイナミクスにどのように影響するかをモデル化するゲート付きディープリニアネットワークフレームワークを導入することで,このギャップに対処する。 重要なのは、ゲーティングのため、これらのネットワークは入力の非線形関数を計算できる。 私たちは正確な削減と、ある場合には学習のダイナミクスに対する正確な解決策を導き出します。 我々の分析は、構造化ネットワークにおける学習ダイナミクスを、共有表現に対する暗黙の偏りを持つニューラルレースとして概念化し、モデルが体系的に一般化し、マルチタスクし、転送する能力を制御できることを示します。 自然主義的なデータセットとリラックスした仮定に関する重要な洞察を検証する。 私たちの研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチと、現実世界の問題を解決するためのモジュラリティと構成性の役割を提供する。 コードと結果はhttps://www.saxelab.org/gated-dln で公開されている。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
  人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。 以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。 これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
  論文  参考訳（メタデータ） (2024-09-22T23:19:04Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• When Representations Align: Universality in Representation Learning Dynamics [8.188549368578704]
  我々は、入力から隠れ表現への符号化マップと、表現から出力への復号マップが任意の滑らかな関数であるという仮定の下で、表現学習の効果的な理論を導出する。 実験により,活性化関数とアーキテクチャの異なる深層ネットワークにおける表現学習力学の側面を効果的に記述することを示した。
  論文  参考訳（メタデータ） (2024-02-14T12:48:17Z)
• Wide Neural Networks Forget Less Catastrophically [39.907197907411266]
  ニューラルネットワークアーキテクチャの"幅"が破滅的忘れに及ぼす影響について検討する。 ネットワークの学習力学を様々な観点から研究する。
  論文  参考訳（メタデータ） (2021-10-21T23:49:23Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
  ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。 これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。 以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-22T17:33:51Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Deep learning of contagion dynamics on complex networks [0.0]
  本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。 任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。 この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
  論文  参考訳（メタデータ） (2020-06-09T17:18:34Z)
• Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
  ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。 特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
  論文  参考訳（メタデータ） (2019-12-27T17:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。