論文の概要: Learning Neural Networks by Neuron Pursuit

• arxiv url: http://arxiv.org/abs/2509.12154v1
• Date: Mon, 15 Sep 2025 17:18:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.422482
• Title: Learning Neural Networks by Neuron Pursuit
• Title（参考訳）: ニューロン探索によるニューラルネットワークの学習
• Authors: Akshay Kumar, Jarvis Haupt,
• Abstract要約: 本稿では, 空間構造を示すサドル点群近傍の等質ニューラルネットワークの勾配流の進化について検討する。 これらのサドル点の選択は、原点から逃れた後に勾配流に遭遇した最初のサドル点を同定した、同質なネットワークに関する以前の研究から動機づけられている。 論文の第2部では、NP(Neuron Pursuit)と呼ばれる深層ニューラルネットワークの学習アルゴリズムを紹介している。
• 参考スコア（独自算出の注目度）: 0.9975341265604576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The first part of this paper studies the evolution of gradient flow for homogeneous neural networks near a class of saddle points exhibiting a sparsity structure. The choice of these saddle points is motivated from previous works on homogeneous networks, which identified the first saddle point encountered by gradient flow after escaping the origin. It is shown here that, when initialized sufficiently close to such saddle points, gradient flow remains near the saddle point for a sufficiently long time, during which the set of weights with small norm remain small but converge in direction. Furthermore, important empirical observations are made on the behavior of gradient descent after escaping these saddle points. The second part of the paper, motivated by these results, introduces a greedy algorithm to train deep neural networks called Neuron Pursuit (NP). It is an iterative procedure which alternates between expanding the network by adding neuron(s) with carefully chosen weights, and minimizing the training loss using this augmented network. The efficacy of the proposed algorithm is validated using numerical experiments.
• Abstract（参考訳）: 本研究の第1部では, 空間構造を示すサドル点群近傍の等質ニューラルネットワークの勾配流の進化について検討した。 これらのサドル点の選択は、原点から逃れた後に勾配流に遭遇した最初のサドル点を同定した、同質なネットワークに関する以前の研究から動機づけられている。 ここでは、そのようなサドル点に十分近い初期化を行うと、勾配流は十分に長い時間サドル点付近に留まり、その間、小さなノルムの重みの集合は小さいが、向きは収束する。 さらに,これらのサドル点を脱出した後の勾配降下挙動について,重要な経験的観察を行った。 論文の第2部は、これらの結果に動機付けられ、神経保護法(NP)と呼ばれる深層ニューラルネットワークを訓練する、欲張りのアルゴリズムを導入している。 神経(s)を慎重に選択した重み付けを加えてネットワークを広げることと、この拡張ネットワークを用いたトレーニング損失を最小限にすることで、ネットワークの拡張を交互に行う反復的な手順である。 提案アルゴリズムの有効性を数値実験により検証した。

関連論文リスト

• Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin [1.9556053645976448]
  近年の研究では、トレーニングの初期段階では、重量は小さく、起源に近いが、方向は収束していることが確認されている。 本稿では,リプシッツ勾配を持つ同質ニューラルネットワークの起点から逃れた後の勾配流れのダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2025-02-21T21:32:31Z)
• Early Directional Convergence in Deep Homogeneous Neural Networks for Small Initializations [1.9556053645976448]
  本稿では,局所的なリプシッツ均質性と2つ以上の厳密な順序を有すると仮定された深部均一性ニューラルネットワークのトレーニング時に生じる勾配流のダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2024-03-12T23:17:32Z)
• Directional Convergence Near Small Initializations and Saddles in Two-Homogeneous Neural Networks [1.9556053645976448]
  本稿では, 2-同次ニューラルネットの勾配流ダイナミクスを小型初期化のために検討する。 正方損失のために、ニューラルネットワークは原点に近いときにサドル・アンド・サドル力学を実行する。 このことから,本論文では,あるサドル点近傍において,小さな大きさの重み間でも同様の方向収束性を示す。
  論文  参考訳（メタデータ） (2024-02-14T15:10:37Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。