論文の概要: StableGrad: Backward Scale Control without Batch Normalization

• arxiv url: http://arxiv.org/abs/2605.19856v1
• Date: Tue, 19 May 2026 13:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.38106
• Title: StableGrad: Backward Scale Control without Batch Normalization
• Title（参考訳）: StableGrad: バッチ正規化なしの後方スケール制御
• Authors: Jose I. Mestre, Alberto Fernández-Hernández, Cristian Pérez-Corral, Manuel F. Dolz, Enrique S. Quintana-Ortí,
• Abstract要約: 非常に深いニューラルネットワークを訓練するには、深さにわたる大きさの伝搬を制御する必要がある。 現代のアーキテクチャは、しばしばバッチ正規化、残留接続、その他の正規化レイヤを通じてこの問題を軽減する。 我々は、前方モデルを変更することなく、階層的な重み付け不均衡を補正する別のメカニズムであるStableGradを提案する。
• 参考スコア（独自算出の注目度）: 1.1145952934885128
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training very deep neural networks requires controlling the propagation of magnitudes across depth. Without such control, activations and gradients may vanish, explode, or enter unstable regimes that make optimization fail. Modern architectures often mitigate this problem through Batch Normalization, residual connections, or other normalization layers, which repeatedly re-scale or bypass intermediate representations. However, these mechanisms are not always appropriate. In Physics-Informed Neural Networks (PINNs), the network represents a continuous physical field and its input derivatives define the training objective, making batch-dependent normalization problematic because it can introduce non-local dependencies into the predicted field and its derivatives. We propose StableGrad, an optimizer-level scale-control mechanism that corrects layer-wise weight-gradient imbalances without modifying the forward model. Because the normalization is applied only after backpropagation and before the optimizer update, the network output, its derivatives, and the physical residual remain unchanged. We analyze the effective training dynamics induced by this rescaling and evaluate StableGrad on deep PINNs as the target application, with BatchNorm-free convolutional networks serving as a diagnostic stress test. On PINN benchmarks, StableGrad improves matched-depth solution accuracy and makes deeper models more reliable under standard optimization. On ResNet and EfficientNet architectures, where removing Batch Normalization normally leads to training collapse, StableGrad stabilizes optimization without introducing any other architectural change. These results show that optimizer-level control of weight-gradient scale can provide a practical alternative when forward normalization is unavailable or undesirable.
• Abstract（参考訳）: 非常に深いニューラルネットワークを訓練するには、深さにわたる大きさの伝搬を制御する必要がある。 このような制御がなければ、アクティベーションと勾配は消滅し、爆発し、最適化が失敗する不安定な状態に入る。 現代のアーキテクチャは、しばしばこの問題をバッチ正規化(英語版)、残留接続(英語版)、その他の正規化層(英語版)を通じて緩和し、中間表現を何度も再スケールまたはバイパスする。 しかし、これらのメカニズムは必ずしも適切とは限らない。 物理情報ニューラルネットワーク(PINN)では、ネットワークは連続体場を表し、入力導関数はトレーニング目標を定義し、予測されたフィールドとその導関数に非局所的依存関係を導入することができるため、バッチ依存正規化が問題となる。 本研究では,前向きモデルを変更することなく,階層単位の重み付け不均衡を補正する,最適化レベルスケール制御機構であるStableGradを提案する。 正規化はバックプロパゲーション後にのみ適用され、オプティマイザ更新の前にネットワーク出力、デリバティブ、物理残差は変化しない。 本研究では,この再スケーリングによって引き起こされる効果的なトレーニングダイナミクスを解析し,深層PINN上のStableGradを対象として,BatchNormフリー畳み込みネットワークを診断ストレステストとして利用した。 PINNベンチマークでは、StableGradは一致した深さの解の精度を改善し、より深いモデルを標準最適化の下でより信頼性を高める。 バッチ正規化を取り除いたResNetとEfficientNetアーキテクチャでは、StableGradは、他のアーキテクチャ変更を導入することなく最適化を安定化する。 これらの結果は, 前方正規化が不可能あるいは望ましくない場合に, 重量勾配スケールの最適化レベル制御が実用的な代替手段となることを示した。

関連論文リスト

• AdamFLIP: Adaptive Momentum Feedback Linearization Optimization for Hard Constrained PINN Training [9.082213877961541]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)によって支配される前方および逆問題を解くフレキシブルな枠組みを提供する 標準的なPINNトレーニングは、通常、手動で選択した重みを使ったPDE残差、データミスマッチ、初期/境界条件を組み合わせたソフトペナルティの定式化に依存している。 本研究では, PINN トレーニングを等式制約付き最適化問題として再検討し, 適応モーメントフィードバック線形化最適化をハード制約型 PINN (AdamFLIP) に適用する。
  論文  参考訳（メタデータ） (2026-05-08T19:13:15Z)
• AutoBalance: An Automatic Balancing Framework for Training Physics-Informed Neural Networks [10.223108587188808]
  PINNは部分微分方程式を解くための強力で一般的なフレームワークを提供する。 PINNは、PDE残差や境界条件などの複数の損失項のバランスをとる。 既存の手法では、最適化前に勾配を操作することでこの問題に対処している。 本稿では,新しい"ポストコンビイン"トレーニングパラダイムであるAutoBalanceを紹介する。
  論文  参考訳（メタデータ） (2025-10-08T06:13:03Z)
• Precise Bayesian Neural Networks [0.0]
  我々は,現代的な正規化アーキテクチャに適合し,精度を犠牲にすることなくキャリブレーションを改善する軽量で実装可能な変分ユニットを開発した。 簡単に言えば、変分後部をネットワーク固有の幾何学と整合させることで、BNNは同時に原理化され、実用的で、正確である。
  論文  参考訳（メタデータ） (2025-06-24T15:42:00Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。