論文の概要: Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2509.00362v1
• Date: Sat, 30 Aug 2025 05:17:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.195676
• Title: Optimized Weight Initialization on the Stiefel Manifold for Deep ReLU Neural Networks
• Title（参考訳）: 深部ReLUニューラルネットワークのためのスティフェル多様体の最適化重み初期化
• Authors: Hyungu Lee, Taehyeong Kim, Hayoung Choi,
• Abstract要約: ReLUネットワークの不適切な重量トレーニングは、ネットワーク深さが増加するにつれて不活性化死ReLUを悪化させ、不安定を悪化させる可能性がある。 我々は、スティーフェル多様体上の最適化問題を導入し、これによりスケールを保ち、プレアクティベーション統計を校正する。 本研究では, 死滅するReLU問題の防止, アクティベーション分散の緩やかな減衰, 勾配消滅の緩和について述べる。
• 参考スコア（独自算出の注目度）: 5.363441578662801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stable and efficient training of ReLU networks with large depth is highly sensitive to weight initialization. Improper initialization can cause permanent neuron inactivation dying ReLU and exacerbate gradient instability as network depth increases. Methods such as He, Xavier, and orthogonal initialization preserve variance or promote approximate isometry. However, they do not necessarily regulate the pre-activation mean or control activation sparsity, and their effectiveness often diminishes in very deep architectures. This work introduces an orthogonal initialization specifically optimized for ReLU by solving an optimization problem on the Stiefel manifold, thereby preserving scale and calibrating the pre-activation statistics from the outset. A family of closed-form solutions and an efficient sampling scheme are derived. Theoretical analysis at initialization shows that prevention of the dying ReLU problem, slower decay of activation variance, and mitigation of gradient vanishing, which together stabilize signal and gradient flow in deep architectures. Empirically, across MNIST, Fashion-MNIST, multiple tabular datasets, few-shot settings, and ReLU-family activations, our method outperforms previous initializations and enables stable training in deep networks.
• Abstract（参考訳）: 大きな深さを持つReLUネットワークの安定かつ効率的なトレーニングは、重量初期化に非常に敏感である。 不適切な初期化は、ネットワークの深さが増加するにつれて、永続的なニューロンの不活性化がReLUを死滅させ、勾配不安定を悪化させる可能性がある。 He, Xavier, and orthogonal initialization(英語版)などの手法は分散を保ち、近似等尺性を促進する。 しかし、アクティベーション前の平均値やアクティベーション間隔を必ずしも規制しておらず、非常に深いアーキテクチャではその効果が低下することが多い。 本研究では、Stiefel多様体上の最適化問題を解くことにより、ReLUに特異的に最適化された直交初期化を導入し、これによりスケールを保存し、初期値から事前アクティベーション統計を校正する。 閉形式解の族と効率的なサンプリングスキームが導出される。 初期化時の理論的解析は, 死滅するReLU問題の防止, アクティベーション分散の緩やかさ, 勾配の消失を緩和し, 信号と勾配流を共に安定化させることを示した。 MNIST、Fashion-MNIST、複数の表データセット、少数ショット設定、ReLU- familyアクティベーションなどにおいて、本手法は従来の初期化よりも優れ、ディープネットワークでの安定したトレーニングを可能にする。

関連論文リスト

• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• Principles for Initialization and Architecture Selection in Graph Neural Networks with ReLU Activations [17.51364577113718]
  ReLUを活性化した有限幅グラフニューラルネットワーク(GNN)におけるアーキテクチャ選択の3つの原理を示す。 まず、よく知られた He-initialization の ReLU GNN への一意的な一般化を理論的に導出する。 第2に、有限幅バニラReLU GNNにおいて、固定アグリゲーション演算子を用いる場合、オーバースムーシングが大深度では避けられないことを証明する。
  論文  参考訳（メタデータ） (2023-06-20T16:40:41Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Dynamical Isometry for Residual Networks [8.21292084298669]
  RISOTTO は ReLU 活性化機能を持つ残差ネットワークに対して, 有限深さ・幅でも完全な動的等尺性を実現することを示す。 実験では,FixupやSkipInitなど,バッチ正規化を廃止する手法よりも優れた手法が提案されている。
  論文  参考訳（メタデータ） (2022-10-05T17:33:23Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
  本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。 提案手法は,特にショットや微調整の設定において有効であることを示す。
  論文  参考訳（メタデータ） (2021-05-02T07:33:16Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。