論文の概要: Neuronal Fluctuations: Learning Rates vs Participating Neurons

• arxiv url: http://arxiv.org/abs/2511.10435v1
• Date: Fri, 14 Nov 2025 01:51:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.868816
• Title: Neuronal Fluctuations: Learning Rates vs Participating Neurons
• Title（参考訳）: ニューロン変動 : 学習速度と参加ニューロン
• Authors: Darsh Pareek, Umesh Kumar, Ruthu Rao, Ravi Janjam,
• Abstract要約: 本研究では,ニューラルネットワークにおける学習速度の変化が重みやバイアス変動の大きさや特性に与える影響を系統的に検討する。 本研究の目的は,学習率の価値,結果のゆらぎパターン,モデル全体の性能の明確な関連性を確立することである。
• 参考スコア（独自算出の注目度）: 0.4549831511476248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) rely on inherent fluctuations in their internal parameters (weights and biases) to effectively navigate the complex optimization landscape and achieve robust performance. While these fluctuations are recognized as crucial for escaping local minima and improving generalization, their precise relationship with fundamental hyperparameters remains underexplored. A significant knowledge gap exists concerning how the learning rate, a critical parameter governing the training process, directly influences the dynamics of these neural fluctuations. This study systematically investigates the impact of varying learning rates on the magnitude and character of weight and bias fluctuations within a neural network. We trained a model using distinct learning rates and analyzed the corresponding parameter fluctuations in conjunction with the network's final accuracy. Our findings aim to establish a clear link between the learning rate's value, the resulting fluctuation patterns, and overall model performance. By doing so, we provide deeper insights into the optimization process, shedding light on how the learning rate mediates the crucial exploration-exploitation trade-off during training. This work contributes to a more nuanced understanding of hyperparameter tuning and the underlying mechanics of deep learning.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、複雑な最適化環境を効果的にナビゲートし、堅牢なパフォーマンスを達成するために、内部パラメータ(重みとバイアス)に固有のゆらぎに依存している。 これらのゆらぎは局所的なミニマを逃れ、一般化を改善するために重要であると認識されているが、基本的なハイパーパラメーターとの正確な関係は未解明のままである。 学習率(学習過程を規定する重要なパラメータ)が、これらの神経揺らぎの力学にどのように影響するかについて、重要な知識ギャップが存在する。 本研究では,ニューラルネットワークにおける学習速度の変化が重みやバイアス変動の大きさや特性に与える影響を系統的に検討する。 我々は、異なる学習率を用いてモデルを訓練し、ネットワークの最終精度とともに対応するパラメータ変動を分析した。 本研究の目的は,学習率の価値,結果のゆらぎパターン,モデル全体の性能の明確な関連性を確立することである。 そうすることで、私たちは最適化プロセスに関する深い洞察を提供し、学習率がトレーニング中の重要な探索・探索のトレードオフをどのように仲介するかについて光を当てます。 この研究は、ハイパーパラメータチューニングのより微妙な理解と、深層学習の基盤となる力学に寄与する。

関連論文リスト

• Improving Neural Network Training using Dynamic Learning Rate Schedule for PINNs and Image Classification [0.0]
  本稿では,学習過程における損失値に基づいて学習率を適応する動的学習率スケジューラ(DLRS)アルゴリズムを提案する。 物理インフォームドニューラルネットワーク(PINN)と画像分類に関する問題に対して,多層パーセプトロンと畳み込みニューラルネットワークを用いた実験を行った。
  論文  参考訳（メタデータ） (2025-07-29T12:31:21Z)
• How Weight Resampling and Optimizers Shape the Dynamics of Continual Learning and Forgetting in Neural Networks [2.270857464465579]
  連続学習における最近の研究は、ニューラルネットワークの最後の層(ザッピング)における重みの再サンプリングの効果を強調している。 本研究では,畳み込みニューラルネットワーク内で発生する学習と忘れのパターンを,挑戦的な設定でトレーニングした場合に詳細に検討する。
  論文  参考訳（メタデータ） (2025-07-02T10:18:35Z)
• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• Assessing Simplification Levels in Neural Networks: The Impact of Hyperparameter Configurations on Complexity and Sensitivity [0.0]
  MNISTデータセットを使用して実施された実験は、ハイパーパラメータ、複雑性、感度の関係に関する洞察を提供することを目的としており、ニューラルネットワークにおけるこれらの概念のより深い理論的理解に寄与している。
  論文  参考訳（メタデータ） (2024-09-24T13:39:04Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。