論文の概要: A new initialisation to Control Gradients in Sinusoidal Neural network
- arxiv url: http://arxiv.org/abs/2512.06427v1
- Date: Sat, 06 Dec 2025 13:23:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.355435
- Title: A new initialisation to Control Gradients in Sinusoidal Neural network
- Title（参考訳）: 正弦波ニューラルネットワークにおける制御勾配の新しい初期化
- Authors: Andrea Combette, Antoine Venaille, Nelly Pustelnik,
- Abstract要約: 我々は,textttSIRENのような正弦波活性化機能を持つネットワークに対して,新しい初期化を提案する。
グラデーションの制御とターゲティング・プレアクティベーションの消失は、推定中に不適切な周波数が出現するのを防ぐのに役立つ。
新しい初期化は、広範囲の再構築タスクで最先端の手法を一貫して上回っている。
- 参考スコア（独自算出の注目度）: 9.341735544356167
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Proper initialisation strategy is of primary importance to mitigate gradient explosion or vanishing when training neural networks. Yet, the impact of initialisation parameters still lacks a precise theoretical understanding for several well-established architectures. Here, we propose a new initialisation for networks with sinusoidal activation functions such as \texttt{SIREN}, focusing on gradients control, their scaling with network depth, their impact on training and on generalization. To achieve this, we identify a closed-form expression for the initialisation of the parameters, differing from the original \texttt{SIREN} scheme. This expression is derived from fixed points obtained through the convergence of pre-activation distribution and the variance of Jacobian sequences. Controlling both gradients and targeting vanishing pre-activation helps preventing the emergence of inappropriate frequencies during estimation, thereby improving generalization. We further show that this initialisation strongly influences training dynamics through the Neural Tangent Kernel framework (NTK). Finally, we benchmark \texttt{SIREN} with the proposed initialisation against the original scheme and other baselines on function fitting and image reconstruction. The new initialisation consistently outperforms state-of-the-art methods across a wide range of reconstruction tasks, including those involving physics-informed neural networks.
- Abstract（参考訳）: 適切な初期化戦略は、ニューラルネットワークのトレーニングにおいて、勾配の爆発や消滅を緩和する上で最も重要なものである。
しかし、初期化パラメータの影響は、いくつかの確立されたアーキテクチャの正確な理論的理解を欠いている。
本稿では, 勾配制御, ネットワーク深度によるスケーリング, トレーニング, 一般化など, 正弦波活性化関数を持つネットワークに対する新たな初期化を提案する。
これを実現するために、元の \texttt{SIREN} スキームと異なり、パラメータの初期化のためのクローズドフォーム式を同定する。
この式は、プレアクティベーション分布の収束とヤコビアン列の分散によって得られる固定点から導かれる。
グラデーションとターゲティング・プレアクティベーションの両制御は、推定中に不適切な周波数が出現することを防止し、一般化を改善する。
さらに,この初期化がニューラル・タンジェント・カーネル・フレームワーク(NTK)によるトレーニング・ダイナミクスに強く影響を与えることを示す。
最後に,関数フィッティングや画像再構成の基盤となる元のスキームに対する初期化を提案して,texttt{SIREN} をベンチマークする。
この新しい初期化は、物理インフォームドニューラルネットワークを含む幅広い再構成タスクにおいて、最先端の手法を一貫して上回っている。
関連論文リスト
- Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data [52.737775129027575]
直交分離可能なデータを分類するための2層ReLUネットワーク上の勾配流がニューラル・コラプス(NC)を示すことを示す。
NCの出現を促進するためのトレーニング力学の暗黙バイアスの役割を明らかにする。
論文 参考訳（メタデータ） (2025-10-24T01:36:19Z) - Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks [5.363441578662801]
ReLUネットワークの不適切な重量トレーニングは、ネットワーク深さが増加するにつれて不活性化死ReLUを悪化させ、不安定を悪化させる可能性がある。
我々は、スティーフェル多様体上の最適化問題を導入し、これによりスケールを保ち、プレアクティベーション統計を校正する。
本研究では, 死滅するReLU問題の防止, アクティベーション分散の緩やかな減衰, 勾配消滅の緩和について述べる。
論文 参考訳（メタデータ） (2025-08-30T05:17:31Z) - On the Impact of Overparameterization on the Training of a Shallow
Neural Network in High Dimensions [0.0]
本研究では,2次活性化関数と2次コストを持つ浅部ニューラルネットワークのトレーニングダイナミクスについて検討する。
同じニューラルアーキテクチャに関する以前の研究と並行して、集団リスクの勾配流に従って最適化を行う。
論文 参考訳（メタデータ） (2023-11-07T08:20:31Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - Training Integrable Parameterizations of Deep Neural Networks in the
Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。
2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。
この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文 参考訳（メタデータ） (2021-10-29T07:53:35Z) - The Impact of Reinitialization on Generalization in Convolutional Neural
Networks [3.462210753108297]
12のベンチマーク画像分類データセットにまたがる複数の畳み込みアーキテクチャにおける異なる再初期化手法の影響について検討する。
本稿では,従来の手法よりも優れた階層的再初期化アルゴリズムを提案する。
我々のメッセージは、ボトムアップ階層の再初期化を用いて、小さなデータセットに対して畳み込みニューラルネットワークの精度を改善することができるということだ。
論文 参考訳（メタデータ） (2021-09-01T09:25:57Z) - On the Explicit Role of Initialization on the Convergence and Implicit
Bias of Overparametrized Linear Networks [1.0323063834827415]
勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。
正方形損失はその最適値に指数関数的に収束することを示す。
我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
論文 参考訳（メタデータ） (2021-05-13T15:13:51Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。