Fugu-MT 論文翻訳(概要): ZNorm: Z-Score Gradient Normalization for Accelerating Neural Network Training

論文の概要: ZNorm: Z-Score Gradient Normalization for Accelerating Neural Network Training

arxiv url: http://arxiv.org/abs/2408.01215v1
Date: Fri, 2 Aug 2024 12:04:19 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 13:37:26.398014
Title: ZNorm: Z-Score Gradient Normalization for Accelerating Neural Network Training
Title（参考訳）: ZNorm: 加速ニューラルネットワークトレーニングのためのZスコア勾配正規化
Authors: Juyoung Yun, Hoyoung Kim, Suin Cho, Hangil Kang,
Abstract要約: ZScore Normalization for Gradient Descent (ZNorm) は、学習効率の向上とモデル性能の向上のために勾配のみを調整する革新的な技術である。 ZNormは、全体的な勾配を正規化し、層をまたいだ一貫した勾配スケーリングを提供し、これにより、消滅と爆発する勾配のリスクを低減する。 CIFAR-10と医療データセットを用いた実験により、ZNormは収束を加速するだけでなく、パフォーマンス指標も向上することが示された。
参考スコア（独自算出の注目度）: 2.476991605835742
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: The rapid advancements in deep learning necessitate efficient training methods for deep neural networks (DNNs). As models grow in complexity, vanishing and exploding gradients impede convergence and performance. We propose Z-Score Normalization for Gradient Descent (ZNorm), an innovative technique that adjusts only the gradients to enhance training efficiency and improve model performance. ZNorm normalizes the overall gradients, providing consistent gradient scaling across layers, thereby reducing the risks of vanishing and exploding gradients. Our extensive experiments on CIFAR-10 and medical datasets demonstrate that ZNorm not only accelerates convergence but also enhances performance metrics. ZNorm consistently outperforms existing methods, achieving superior results using the same computational settings. In medical imaging applications, ZNorm improves tumor prediction and segmentation performances, underscoring its practical utility. These findings highlight ZNorm's potential as a robust and versatile tool for improving the efficiency and effectiveness of deep neural network training across a wide range of architectures and applications.
Abstract（参考訳）: ディープラーニングの急速な進歩は、ディープニューラルネットワーク(DNN)の効率的なトレーニング方法を必要とする。モデルが複雑化するにつれて、勾配の消滅と爆発は収束と性能を妨げる。本研究では,Z-Score Normalization for Gradient Descent (ZNorm)を提案する。 ZNormは、全体的な勾配を正規化し、層をまたいだ一貫した勾配スケーリングを提供し、これにより、消滅と爆発する勾配のリスクを低減する。 CIFAR-10と医療データセットに関する広範な実験により、ZNormは収束を加速するだけでなく、パフォーマンス指標も向上することが示された。 ZNormは既存の手法を一貫して上回り、同じ計算設定で優れた結果を得る。医用画像の応用において、ZNormは腫瘍予測とセグメンテーション性能を改善し、その実用性を強調している。これらの調査結果は、さまざまなアーキテクチャやアプリケーションにわたるディープニューラルネットワークトレーニングの効率性と有効性を改善するための、堅牢で汎用的なツールとしてのZNormの可能性を強調している。

関連論文リスト

Fast and Slow Gradient Approximation for Binary Neural Network Optimization [11.064044986709733]
ハイパーネットワークに基づく手法は、ニューラルネットワークを用いて微分不可能な量子化関数の勾配を学習する。本稿では,ヒストリ・グラディエント・ストレージ(HGS)モジュールを提案する。これは,ヒストリ・グラディエント・シーケンスをモデル化し,最適化に必要な1次モーメントを生成する。また、ハイパーネットワークに層認識埋め込み(LRE)を導入し、層固有の微細勾配の生成を容易にする。
論文参考訳（メタデータ） (2024-12-16T13:48:40Z)
Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文参考訳（メタデータ） (2024-12-05T09:41:33Z)
Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization [0.0]
ディープラーニングにおいて、Residual Networks(ResNets)は、消滅する問題に対処する上で有効であることが証明されている。 ResNetのスキップ接続はオーバーラップし、学習した変換とスキップ接続がグラデーションで結合される。重なりを管理する手法としてZ-score Normalization (ZNorm) を検討した。
論文参考訳（メタデータ） (2024-10-28T21:54:44Z)
Trapezoidal Gradient Descent for Effective Reinforcement Learning in Spiking Networks [10.422381897413263]
低消費電力特性と性能を持つスパイキングニューラルネットワーク(SNN)が注目を集めている。強化学習の実践的応用の省エネを図るため,Pop-SAN と MDC-SAN のアルゴリズムが提案されている。本稿では,スパイクネットワークの代替として,従来の安定した学習状態を保ちつつ,様々な信号力学下でのモデルの適応性と応答感度を高めることを目的とした,台形近似勾配法を提案する。
論文参考訳（メタデータ） (2024-06-19T13:56:22Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。本稿では,LGM(Leaded Gradient Method)を提案する。我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文参考訳（メタデータ） (2022-10-15T01:32:08Z)
Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文参考訳（メタデータ） (2022-10-09T07:47:56Z)
Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2022-07-06T14:09:47Z)
Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
論文参考訳（メタデータ） (2021-06-17T13:24:43Z)
On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks [1.7958576850695402]
オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
論文参考訳（メタデータ） (2020-11-21T19:44:19Z)
Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。