論文の概要: Stable initialization without the CLT

• arxiv url: http://arxiv.org/abs/2609.30633v1
• Date: Thu, 24 Sep 2026 23:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.159252
• Title: Stable initialization without the CLT
• Title（参考訳）: CLTのない安定初期化
• Abstract要約: 深層ニューラルネットワークのトレーニングは、初期重みの分布に大きく依存する。 正弦波アクティベーションを持つネットワークの均一位相初期化を導出する。 我々の未調整モデルは、以前の作業から最高のチューニングベースラインと競合し、$Pの幅スケーリングをサポートしています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Successful training of deep neural networks is highly dependent on the distribution of the initial weights. If the weights are too large, network training blows up; if they are too small, the model fails to learn features. Stable initialization is the optimal moderation between these two extremes. The conventional theory of random networks uses the Central Limit Theorem to control inter-neuron dependencies, which introduces distributional approximation error and coupling between layers. For networks with sine activations, we derive the uniform-phase initialization, which obviates distributional approximation and fully decouples the layers. Ours is the first work to use the sine function's periodic symmetry. Models trained with the uniform-phase initialization outperform the state of the art in neural representation tasks like image and audio fitting. We find that our untuned models are competitive with the best-tuned baselines from previous work and support $μ$P width scaling.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングの成功は、初期重みの分布に大きく依存している。 重みが大きすぎると、ネットワークトレーニングが爆発します。 安定な初期化は、この2つの極点の間の最適なモデレーションである。 従来のランダムネットワーク理論では、中央極限定理(Central Limit Theorem)を用いてニューロン間の依存関係を制御し、分散近似誤差と層間の結合を導入している。 正弦波を活性化するネットワークに対しては、分布近似を排除し、層を完全に分離する均一位相初期化を導出する。 我々の研究は、正弦関数の周期対称性を使った最初の研究である。 均一フェーズの初期化で訓練されたモデルは、画像やオーディオフィッティングといったニューラル表現タスクにおける最先端のタスクより優れています。 我々の未調整モデルは、以前の作業から最もよく調整されたベースラインと競合し、$μ$Pの幅スケーリングをサポートしています。

関連論文リスト

• Sinusoidal Initialization, Time for a New Start [0.5242869847419834]
  初期化はディープニューラルネットワークトレーニングにおいて重要な役割を担い、収束、安定性、一般化に直接影響を与える。 本稿では,ネットワーク全体の重みの広がりとバランスを改善するために,正弦波関数を用いて構造的重み行列を構築する新しい決定論的手法を提案する。 実験の結果,最終検証精度は4.9%,収束速度は20.9%向上した。
  論文  参考訳（メタデータ） (2025-05-19T09:45:18Z)
• MILP initialization for solving parabolic PDEs with PINNs [2.5932373010465364]
  物理インフォームドニューラルネットワーク(PINN)は物理系の解とパラメータ推定を提供する強力なディープラーニング手法である。 ニューラルネットワーク構造の複雑さを考えると、収束速度は数値的手法と比較しても制限される。
  論文  参考訳（メタデータ） (2025-01-27T15:46:38Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Fractional moment-preserving initialization schemes for training deep neural networks [1.14219428942199]
  ディープニューラルネットワーク(DNN)に対する従来のアプローチは、プレアクティベーションの分散を保存するために、ランダムにネットワーク重みをサンプリングすることである。 本稿では,重み付き分布をモデル化することで,重み付けや事前活性化をモデル化できることを示す。 数値実験により,本手法が訓練および試験性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-05-25T01:10:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。