論文の概要: Neural network initialization with nonlinear characteristics and information on spectral bias

• arxiv url: http://arxiv.org/abs/2511.02244v1
• Date: Tue, 04 Nov 2025 04:15:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.806156
• Title: Neural network initialization with nonlinear characteristics and information on spectral bias
• Title（参考訳）: 非線形特性を持つニューラルネットワークの初期化とスペクトルバイアス情報
• Authors: Hikaru Homma, Jun Ohkubo,
• Abstract要約: 重みやバイアスなどのニューラルネットワークパラメータの初期化は、学習のパフォーマンスに決定的な影響を及ぼす。 本稿では、SWIMアルゴリズムのスケール係数を調整し、初期隠蔽層内の低周波成分を捕捉するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Initialization of neural network parameters, such as weights and biases, has a crucial impact on learning performance; if chosen well, we can even avoid the need for additional training with backpropagation. For example, algorithms based on the ridgelet transform or the SWIM (sampling where it matters) concept have been proposed for initialization. On the other hand, it is well-known that neural networks tend to learn coarse information in the earlier layers. The feature is called spectral bias. In this work, we investigate the effects of utilizing information on the spectral bias in the initialization of neural networks. Hence, we propose a framework that adjusts the scale factors in the SWIM algorithm to capture low-frequency components in the early-stage hidden layers and to represent high-frequency components in the late-stage hidden layers. Numerical experiments on a one-dimensional regression task and the MNIST classification task demonstrate that the proposed method outperforms the conventional initialization algorithms. This work clarifies the importance of intrinsic spectral properties in learning neural networks, and the finding yields an effective parameter initialization strategy that enhances their training performance.
• Abstract（参考訳）: 重みやバイアスなどのニューラルネットワークパラメータの初期化は、学習のパフォーマンスに重大な影響を与えます。 例えば、リッジレット変換やSWIM(sampling where it important)の概念に基づくアルゴリズムが初期化のために提案されている。 一方、ニューラルネットワークは以前の層で粗い情報を学習する傾向があることはよく知られている。 この特徴はスペクトルバイアスと呼ばれる。 本研究では,ニューラルネットワークの初期化におけるスペクトルバイアスに対する情報利用の効果について検討する。 そこで本研究では、SWIMアルゴリズムのスケール係数を調整し、初期隠蔽層における低周波成分を捕捉し、後期隠蔽層における高周波成分を表現するフレームワークを提案する。 1次元回帰タスクとMNIST分類タスクの数値実験により,提案手法が従来の初期化アルゴリズムより優れていることを示す。 本研究は,ニューラルネットワーク学習における固有スペクトル特性の重要性を明らかにし,学習性能を高める効果的なパラメータ初期化戦略を導出する。

関連論文リスト

• NIDS Neural Networks Using Sliding Time Window Data Processing with Trainable Activations and its Generalization Capability [0.0]
  本稿では,ネットワーク侵入検知システム(NIDS)のためのニューラルネットワークについて述べる。 ディープパケットインスペクションに頼らず、ほとんどのNIDSデータセットで見つからず、従来のフローコレクタから簡単に取得できる11の機能しか必要としない。 報告されたトレーニング精度は、提案手法の99%を超え、ニューラルネットワークの入力特性は20に満たない。
  論文  参考訳（メタデータ） (2024-10-24T11:36:19Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• A Weight Initialization Based on the Linear Product Structure for Neural Networks [0.0]
  非線形的な観点からニューラルネットワークを研究し、ニューラルネットワークの線形積構造(LPS)に基づく新しいウェイト初期化戦略を提案する。 提案手法は, 数値代数学の理論を用いて, すべての局所最小値を求めることを保証することにより, 活性化関数の近似から導かれる。
  論文  参考訳（メタデータ） (2021-09-01T00:18:59Z)
• Supervised Learning with First-to-Spike Decoding in Multilayer Spiking Neural Networks [0.0]
  本稿では,多層スパイキングニューラルネットワークを学習して分類問題を解くための教師あり学習手法を提案する。 提案した学習規則は、隠れニューロンが発する複数のスパイクをサポートし、決定論的出力層によって生成された最初のスパイク応答に依存することにより安定である。 また、入力データのコンパクト表現を形成するために、いくつかの異なるスパイクベースの符号化戦略についても検討する。
  論文  参考訳（メタデータ） (2020-08-16T15:34:48Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。