Fugu-MT 論文翻訳(概要): A spring-block theory of feature learning in deep neural networks

論文の概要: A spring-block theory of feature learning in deep neural networks

arxiv url: http://arxiv.org/abs/2407.19353v2
Date: Wed, 23 Oct 2024 14:11:34 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 14:38:53.621908
Title: A spring-block theory of feature learning in deep neural networks
Title（参考訳）: 深部ニューラルネットワークにおける特徴学習のバネブロック理論
Authors: Cheng Shi, Liming Pan, Ivan Dokmanić,
Abstract要約: 特徴学習深層ネットは、定期的に低次元の幾何学にデータを徐々に崩壊させる。この現象は, 非線形性, ノイズ, 学習率, および力学を形作る他の選択の集合的作用から生じることを示す。ダイアグラムを再現するマクロメカニカル理論を提案し、DNNのいくつかが遅延でアクティブな理由を説明し、層をまたいだ特徴学習と一般化をリンクする。
参考スコア（独自算出の注目度）: 11.396919965037636
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Feature-learning deep nets progressively collapse data to a regular low-dimensional geometry. How this phenomenon emerges from collective action of nonlinearity, noise, learning rate, and other choices that shape the dynamics, has eluded first-principles theories built from microscopic neuronal dynamics. We exhibit a noise-nonlinearity phase diagram that identifies regimes where shallow or deep layers learn more effectively. We then propose a macroscopic mechanical theory that reproduces the diagram, explaining why some DNNs are lazy and some active, and linking feature learning across layers to generalization.
Abstract（参考訳）: 特徴学習深層ネットは、定期的に低次元の幾何学にデータを徐々に崩壊させる。この現象は、非線形性、ノイズ、学習率、および力学を形成する他の選択の集合的作用からどのように生じるかは、顕微鏡神経力学から構築された第一原理理論を解明した。浅い層や深い層がより効果的に学習するレシエーションを識別するノイズ非線形位相図を示す。次に、図を再現するマクロ力学的理論を提案し、なぜいくつかのDNNが遅延でアクティブなのかを説明し、層をまたいだ特徴学習と一般化をリンクする。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
From Lazy to Rich: Exact Learning Dynamics in Deep Linear Networks [47.13391046553908]
人工ネットワークでは、これらのモデルの有効性はタスク固有の表現を構築する能力に依存している。以前の研究では、異なる初期化によって、表現が静的な遅延状態にあるネットワークや、表現が動的に進化するリッチ/フィーチャーな学習体制のいずれかにネットワークを配置できることが強調されていた。これらの解は、豊かな状態から遅延状態までのスペクトルにわたる表現とニューラルカーネルの進化を捉えている。
論文参考訳（メタデータ） (2024-09-22T23:19:04Z)
Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
論文参考訳（メタデータ） (2022-10-24T08:01:58Z)
Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文参考訳（メタデータ） (2021-06-15T05:30:17Z)
What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文参考訳（メタデータ） (2021-06-12T13:05:11Z)
Learning without gradient descent encoded by the dynamics of a neurobiological model [7.952666139462592]
本稿では,動的シグナリングの神経生物学的モデルを利用した機械学習の概念的アプローチを提案する。 MNIST画像は、教師なしの方法で、ほぼ最先端の精度で幾何学的ネットワークのダイナミクスによって一意に符号化され分類できることを示す。
論文参考訳（メタデータ） (2021-03-16T07:03:04Z)
Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文参考訳（メタデータ） (2020-09-01T09:07:25Z)
Mastering high-dimensional dynamics with Hamiltonian neural networks [0.0]
マップ・ビルディング・パースペクティブは、従来のニューラルネットワークよりもハミルトニアン・ニューラル・ネットワークの優位性を解明する。その結果、データ、次元、ニューラルネットワーク学習性能の臨界関係を明らかにした。
論文参考訳（メタデータ） (2020-07-28T21:14:42Z)
An analytic theory of shallow networks dynamics for hinge loss classification [14.323962459195771]
我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
論文参考訳（メタデータ） (2020-06-19T16:25:29Z)
Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
論文参考訳（メタデータ） (2019-12-27T17:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。