論文の概要: ZNorm: Z-Score Gradient Normalization Accelerating Skip-Connected Network Training without Architectural Modification

• arxiv url: http://arxiv.org/abs/2408.01215v5
• Date: Wed, 20 Nov 2024 08:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:23.275321
• Title: ZNorm: Z-Score Gradient Normalization Accelerating Skip-Connected Network Training without Architectural Modification
• Title（参考訳）: ZNorm: アーキテクチャ変更なしでスキップ接続ネットワークトレーニングを加速するZスコア勾配正規化
• Authors: Juyoung Yun,
• Abstract要約: Z-Score Normalization for Gradient Descent (ZNorm)は、ネットワークアーキテクチャを変更することなく勾配のみを調整し、トレーニングを加速し、モデル性能を向上させる革新的な技術である。 ZNormは、全体的な勾配を正規化し、レイヤ間の一貫性のある勾配スケーリングを提供し、グラデーションの消滅と爆発のリスクを効果的に低減し、優れたパフォーマンスを達成する。 医用画像の応用において、ZNormは腫瘍の予測とセグメンテーションの精度を大幅に向上させ、その実用性を強調している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The rapid advancements in deep learning necessitate better training methods for deep neural networks (DNNs). As models grow in complexity, vanishing and exploding gradients impede performance, particularly in skip-connected architectures like Deep Residual Networks. We propose Z-Score Normalization for Gradient Descent (ZNorm), an innovative technique that adjusts only the gradients without modifying the network architecture to accelerate training and improve model performance. ZNorm normalizes the overall gradients, providing consistent gradient scaling across layers, effectively reducing the risks of vanishing and exploding gradients and achieving superior performance. Extensive experiments on CIFAR-10 and medical datasets confirm that ZNorm consistently outperforms existing methods under the same experimental settings. In medical imaging applications, ZNorm significantly enhances tumor prediction and segmentation accuracy, underscoring its practical utility. These findings highlight ZNorm's potential as a robust and versatile tool for enhancing the training and effectiveness of deep neural networks, especially in skip-connected architectures, across various applications.
• Abstract（参考訳）: ディープラーニングの急速な進歩は、ディープニューラルネットワーク(DNN)のより良いトレーニング方法を必要とする。 モデルが複雑化するにつれて、特にDeep Residual Networksのようなスキップ接続アーキテクチャでは、グレードの消滅と爆発によってパフォーマンスが阻害される。 Z-Score Normalization for Gradient Descent (ZNorm) は,ネットワークアーキテクチャを変更することなく勾配のみを調整し,トレーニングを高速化し,モデル性能を向上させる革新的な手法である。 ZNormは、全体的な勾配を正規化し、レイヤ間の一貫性のある勾配スケーリングを提供し、グラデーションの消滅と爆発のリスクを効果的に低減し、優れたパフォーマンスを達成する。 CIFAR-10と医療データセットに関する大規模な実験は、ZNormが同じ実験環境で既存の手法を一貫して上回っていることを確認した。 医用画像の応用において、ZNormは腫瘍の予測とセグメンテーションの精度を大幅に向上させ、その実用性を強調している。 これらの発見は、ディープニューラルネットワーク、特にスキップ接続アーキテクチャのトレーニングと効率を高めるための堅牢で汎用的なツールとしてのZNormの可能性を強調している。

関連論文リスト

• Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization [0.0]
  ディープラーニングにおいて、Residual Networks(ResNets)は、消滅する問題に対処する上で有効であることが証明されている。 ResNetのスキップ接続はオーバーラップし、学習した変換とスキップ接続がグラデーションで結合される。 重なりを管理する手法としてZ-score Normalization (ZNorm) を検討した。
  論文  参考訳（メタデータ） (2024-10-28T21:54:44Z)
• Trapezoidal Gradient Descent for Effective Reinforcement Learning in Spiking Networks [10.422381897413263]
  低消費電力特性と性能を持つスパイキングニューラルネットワーク(SNN)が注目を集めている。 強化学習の実践的応用の省エネを図るため,Pop-SAN と MDC-SAN のアルゴリズムが提案されている。 本稿では,スパイクネットワークの代替として,従来の安定した学習状態を保ちつつ,様々な信号力学下でのモデルの適応性と応答感度を高めることを目的とした,台形近似勾配法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T13:56:22Z)
• Intelligent gradient amplification for deep neural networks [2.610003394404622]
  特に、ディープラーニングモデルは、モデルの深さが増加するにつれて、より大きなトレーニング時間を必要とします。 いくつかの解は独立してこれらの問題に対処するが、統合された解を特定するための最小限の努力があった。 本研究では,定式化手法を用いて,ディープラーニングモデルのどの層を勾配増幅に適用するかをインテリジェントに決定する。
  論文  参考訳（メタデータ） (2023-05-29T03:38:09Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
  ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。 勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。 自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-06T14:09:47Z)
• Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting [29.685909045226847]
  脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。 シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
  論文  参考訳（メタデータ） (2022-02-24T08:02:37Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。