Fugu-MT 論文翻訳(概要): ZNorm: Z-Score Gradient Normalization for Deep Neural Networks

論文の概要: ZNorm: Z-Score Gradient Normalization for Deep Neural Networks

arxiv url: http://arxiv.org/abs/2408.01215v3
Date: Wed, 11 Sep 2024 05:44:54 GMT
ステータス: 処理完了
システム内更新日: 2024-09-12 20:22:30.380387
Title: ZNorm: Z-Score Gradient Normalization for Deep Neural Networks
Title（参考訳）: ZNorm: ディープニューラルネットワークのためのZスコア勾配正規化
Authors: Juyoung Yun, Hoyoung Kim,
Abstract要約: Z-Score Normalization for Gradient Descent (ZNorm) は、学習の加速とモデル性能の向上のために勾配のみを調整する革新的な技術である。 ZNormは、全体的な勾配を正規化し、層をまたいだ一貫した勾配スケーリングを提供し、これにより、消滅と爆発する勾配のリスクを低減する。医用画像の応用において、ZNormは腫瘍予測とセグメンテーション性能を改善し、その実用性を強調している。
参考スコア（独自算出の注目度）: 3.0412001961035497
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: The rapid advancements in deep learning necessitate better training methods for deep neural networks (DNNs). As models grow in complexity, vanishing and exploding gradients impede performance. We propose Z-Score Normalization for Gradient Descent (ZNorm), an innovative technique that adjusts only the gradients to accelerate training and improve model performance. ZNorm normalizes the overall gradients, providing consistent gradient scaling across layers, thereby reducing the risks of vanishing and exploding gradients, having better performances. Our extensive experiments on CIFAR-10 and medical datasets demonstrate that ZNorm enhances performance metrics. ZNorm consistently outperforms existing methods, achieving superior results using the same experimental settings. In medical imaging applications, ZNorm improves tumor prediction and segmentation performances, underscoring its practical utility. These findings highlight ZNorm's potential as a robust and versatile tool for enhancing the training speed and effectiveness of deep neural networks across a wide range of architectures and applications.
Abstract（参考訳）: ディープラーニングの急速な進歩は、ディープニューラルネットワーク(DNN)のより良いトレーニング方法を必要とする。モデルが複雑化するにつれて、勾配の消滅と爆発がパフォーマンスを妨げます。 Z-Score Normalization for Gradient Descent (ZNorm) は、学習の高速化とモデル性能向上のために勾配のみを調整する革新的な手法である。 ZNormは全体的な勾配を正規化し、階層間の一貫性のある勾配スケーリングを提供する。 CIFAR-10および医療データセットに関する広範な実験により、ZNormはパフォーマンス指標を向上することを示した。 ZNormは既存のメソッドを一貫して上回り、同じ実験的な設定で優れた結果を得る。医用画像の応用において、ZNormは腫瘍予測とセグメンテーション性能を改善し、その実用性を強調している。これらの調査結果は、さまざまなアーキテクチャやアプリケーションにわたるディープニューラルネットワークのトレーニング速度と有効性を高めるための、堅牢で汎用的なツールとしてのZNormの可能性を浮き彫りにしている。

関連論文リスト

Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization [0.0]
ディープラーニングにおいて、Residual Networks(ResNets)は、消滅する問題に対処する上で有効であることが証明されている。 ResNetのスキップ接続はオーバーラップし、学習した変換とスキップ接続がグラデーションで結合される。重なりを管理する手法としてZ-score Normalization (ZNorm) を検討した。
論文参考訳（メタデータ） (2024-10-28T21:54:44Z)
Trapezoidal Gradient Descent for Effective Reinforcement Learning in Spiking Networks [10.422381897413263]
低消費電力特性と性能を持つスパイキングニューラルネットワーク(SNN)が注目を集めている。強化学習の実践的応用の省エネを図るため,Pop-SAN と MDC-SAN のアルゴリズムが提案されている。本稿では,スパイクネットワークの代替として,従来の安定した学習状態を保ちつつ,様々な信号力学下でのモデルの適応性と応答感度を高めることを目的とした,台形近似勾配法を提案する。
論文参考訳（メタデータ） (2024-06-19T13:56:22Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。本稿では,LGM(Leaded Gradient Method)を提案する。我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文参考訳（メタデータ） (2022-10-15T01:32:08Z)
Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文参考訳（メタデータ） (2022-10-09T07:47:56Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2022-07-06T14:09:47Z)
Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting [29.685909045226847]
脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
論文参考訳（メタデータ） (2022-02-24T08:02:37Z)
Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
論文参考訳（メタデータ） (2021-06-17T13:24:43Z)
On-Chip Error-triggered Learning of Multi-layer Memristive Spiking Neural Networks [1.7958576850695402]
オンライン3次重み更新を用いた局所的,勾配に基づく,エラートリガー付き学習アルゴリズムを提案する。提案アルゴリズムは,多層SNNを記憶型ニューロモルフィックハードウェアでオンライントレーニングすることを可能にする。
論文参考訳（メタデータ） (2020-11-21T19:44:19Z)
Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文参考訳（メタデータ） (2020-02-25T18:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。