論文の概要: Gradient Descent on Two ReLU Neurons: Global Landscape and Bifurcation Dynamics

• arxiv url: http://arxiv.org/abs/2610.42118v1
• Date: Fri, 30 Oct 2026 17:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.862341
• Title: Gradient Descent on Two ReLU Neurons: Global Landscape and Bifurcation Dynamics
• Title（参考訳）: 2つのReLUニューロン上のグラディエントDescent:グローバルランドスケープと分岐ダイナミクス
• Abstract要約: 等方的ガウス入力下での2ニューロンReLU教師学生モデルにおける勾配勾配勾配の学習方法について検討した。 本研究は, ダイナミックスは, リード信号を運ぶ「易しい」バイセクタ方向と, 特殊化を管理する「固い」分割方向の2つの方向によって構成されていることを示す。
• 参考スコア（独自算出の注目度）: 15.266687631220755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how gradient descent learns features remains a central challenge in neural network theory. We study this question in a minimal multi-index setting that already exhibits rich multi-phase gradient dynamics: a well-specified two-neuron ReLU teacher-student model under isotropic Gaussian inputs, trained by population gradient flow from small initialization. We show that the dynamics are organized by two directions: the "easy" bisector direction, which carries the leading signal, and the "hard" splitting direction, which governs specialization. To characterize the loss structure and learning behavior, we analyze the population squared-loss landscape and show that every critical point with both student weights nonzero is either a global minimum or a saddle. We then track the gradient-flow trajectory, showing that student neurons first collapse toward a bisector saddle before escaping and specializing to teacher neurons. Our results provide both a landscape and dynamics account of the multi-phase symmetry-breaking behavior that arises in a simple multi-index model and under standard algorithmic and architectural choices.
• Abstract（参考訳）: 勾配降下が特徴をどのように学習するかを理解することは、ニューラルネットワーク理論における中心的な課題である。 我々は,この問題を,多相勾配に富んだ多相勾配を呈する最小限のマルチインデックス・セッティングを用いて検討した。 本研究は, ダイナミックスは, リード信号を運ぶ「易しい」バイセクタ方向と, 特殊化を管理する「固い」分割方向の2つの方向によって構成されていることを示す。 損失構造と学習行動を特徴付けるために,人口2乗の景観を分析し,学生の体重がゼロでないすべての臨界点が,世界最小かサドルであるかを示す。 次に、勾配流の軌跡を追跡し、学生のニューロンが最初に二座サドルに向かって崩壊し、脱走し、教師のニューロンに特化することを示す。 この結果から, 単純なマルチインデックスモデルおよび標準的なアルゴリズムおよびアーキテクチャ選択の下で発生する多相対称性破砕挙動のランドスケープとダイナミックスの両方について考察した。

関連論文リスト

• Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry [52.75288960194919]
  最近の研究で、シングルインデックスモデルとマルチインデックスモデルに基づいて訓練された浅層ネットワークにおける漸進的な学習が特定されている。 対称性に基づく有限幅近似を,無限幅の極限と直接比較するのではなく,対称性付きネットワークを用いて導入する。
  論文  参考訳（メタデータ） (2026-09-09T22:35:31Z)
• On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD [93.70725920710208]
  ラベル雑音による勾配降下の学習力学について検討する。 遅延からリッチな体制への移行を駆動する上で,ラベルノイズが重要な役割を担っていることを強調する。 これらの知見をSAM(Sharpness-Aware Minimization)に拡張し、ラベルノイズSGDを規定する原理がより広範な最適化アルゴリズムにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-11T04:26:54Z)
• Topological Invariance and Breakdown in Learning [11.698788994819749]
  我々は、置換同変学習規則の幅広いクラスにおいて、トレーニングプロセスがニューロン間のバイリプシッツマッピングを誘導することを証明する。 トポロジカルクリティカルポイント$eta*$以下の学習率で、トレーニングは神経細胞のすべてのトポロジカル構造を保存するために制約される。 eta*$を超えると、学習プロセスはトポロジカルな単純化を可能にし、ニューロン多様体は徐々に粗くなる。
  論文  参考訳（メタデータ） (2025-10-03T02:03:16Z)
• A Dynamical Systems Perspective on the Analysis of Neural Networks [0.0]
  動的システムを用いて機械学習アルゴリズムのいくつかの側面を分析する。 我々は、ディープニューラルネットワーク、(確率的な)勾配降下、および関連するトピックから動的ステートメントまで、さまざまな課題を再フォーマットする方法を実証する。
  論文  参考訳（メタデータ） (2025-07-07T16:18:49Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• Alternating Gradient Flows: A Theory of Feature Learning in Two-layer Neural Networks [24.982761163168338]
  本稿では,ニューラルネットワークにおける特徴学習のダイナミクスを記述するアルゴリズムフレームワークであるAlternating Gradient Flows (AGF)を紹介する。 AGFは、動作を交互に2段階のプロセスとして近似する: 休眠ニューロン上のユーティリティ関数を最大化し、アクティブなニューロンに対するコスト関数を最小化する。 AGFは、完全連結線形ネットワークと注意のみの線形変換器において、既存のサドル・アンド・サドル解析を統一し、拡張することを示す。
  論文  参考訳（メタデータ） (2025-06-06T19:29:13Z)
• Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization [4.418361486640713]
  大域ミニマ付近の2層ニューラルネットワークにおける損失景観の幾何学について検討する。 一般化誤差ゼロの大域的ミニマが、サンプルサイズが大きくなるにつれて、他の大域的ミニマと幾何的に分離されるかを示す。
  論文  参考訳（メタデータ） (2023-09-01T14:53:51Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
  教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。 学生ネットワークは、どの解法よりも確実に優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T02:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。