論文の概要: Sinusoidal Initialization, Time for a New Start

• arxiv url: http://arxiv.org/abs/2505.12909v1
• Date: Mon, 19 May 2025 09:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.522529
• Title: Sinusoidal Initialization, Time for a New Start
• Title（参考訳）: 正弦波初期化と新たなスタートの時間
• Authors: Alberto Fernández-Hernández, Jose I. Mestre, Manuel F. Dolz, Jose Duato, Enrique S. Quintana-Ortí,
• Abstract要約: 初期化はディープニューラルネットワークトレーニングにおいて重要な役割を担い、収束、安定性、一般化に直接影響を与える。 本稿では,ネットワーク全体の重みの広がりとバランスを改善するために,正弦波関数を用いて構造的重み行列を構築する新しい決定論的手法を提案する。 実験の結果,最終検証精度は4.8 %,収束速度は20.9 %向上した。
• 参考スコア（独自算出の注目度）: 0.5242869847419834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Initialization plays a critical role in Deep Neural Network training, directly influencing convergence, stability, and generalization. Common approaches such as Glorot and He initializations rely on randomness, which can produce uneven weight distributions across layer connections. In this paper, we introduce the Sinusoidal initialization, a novel deterministic method that employs sinusoidal functions to construct structured weight matrices expressly to improve the spread and balance of weights throughout the network while simultaneously fostering a more uniform, well-conditioned distribution of neuron activation states from the very first forward pass. Because Sinusoidal initialization begins with weights and activations that are already evenly and efficiently utilized, it delivers consistently faster convergence, greater training stability, and higher final accuracy across a wide range of models, including convolutional neural networks, vision transformers, and large language models. On average, our experiments show an increase of 4.8 % in final validation accuracy and 20.9 % in convergence speed. By replacing randomness with structure, this initialization provides a stronger and more reliable foundation for Deep Learning systems.
• Abstract（参考訳）: 初期化はディープニューラルネットワークトレーニングにおいて重要な役割を担い、収束、安定性、一般化に直接影響を与える。 Glorot や He の初期化のような一般的なアプローチはランダム性に依存しており、これは層接続間の不均一な重み分布を生じさせる。 本稿では,Sinusoidal initializationという,Sinusoidal関数を用いた新しい決定論的手法を導入し,ネットワーク全体の重みの広がりとバランスを改善するとともに,ニューロン活性化状態のより均一で条件の整った分布を最初期のパスから育成する。 正弦波の初期化は、既に均一かつ効率的に活用されている重みとアクティベーションから始まるため、畳み込みニューラルネットワーク、ビジョントランスフォーマー、大規模言語モデルを含む幅広いモデルにおいて、一貫して高速な収束、トレーニング安定性、より高い最終精度を提供する。 実験の結果, 最終検証精度は4.8 %, 収束速度は20.9 %向上した。 ランダム性を構造に置き換えることで、この初期化はディープラーニングシステムのより強力で信頼性の高い基盤を提供する。

関連論文リスト

• MILP initialization for solving parabolic PDEs with PINNs [2.5932373010465364]
  物理インフォームドニューラルネットワーク(PINN)は物理系の解とパラメータ推定を提供する強力なディープラーニング手法である。 ニューラルネットワーク構造の複雑さを考えると、収束速度は数値的手法と比較しても制限される。
  論文  参考訳（メタデータ） (2025-01-27T15:46:38Z)
• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks [39.856439772974454]
  グローバル最小値への効率的な収束に必要な幅は, 深さに依存しないことを示す。 この結果から, 非線形ネットワークの初期化による最近の経験的成功について, 動的アイソメトリの原理による説明が得られた。
  論文  参考訳（メタデータ） (2020-01-16T18:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。