論文の概要: Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization

• arxiv url: http://arxiv.org/abs/2410.21564v3
• Date: Fri, 15 Nov 2024 00:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 12:19:55.108925
• Title: Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization
• Title（参考訳）: 改良された非凸最適化のための勾配正規化による深部残留ネットワークの勾配オーバーラップの緩和
• Authors: Juyoung Yun,
• Abstract要約: ディープラーニングにおいて、Residual Networks(ResNets)は、消滅する問題に対処する上で有効であることが証明されている。 ResNetのスキップ接続はオーバーラップし、学習した変換とスキップ接続がグラデーションで結合される。 重なりを管理する手法としてZ-score Normalization (ZNorm) を検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In deep learning, Residual Networks (ResNets) have proven effective in addressing the vanishing gradient problem, allowing for the successful training of very deep networks. However, skip connections in ResNets can lead to gradient overlap, where gradients from both the learned transformation and the skip connection combine, potentially resulting in overestimated gradients. This overestimation can cause inefficiencies in optimization, as some updates may overshoot optimal regions, affecting weight updates. To address this, we examine Z-score Normalization (ZNorm) as a technique to manage gradient overlap. ZNorm adjusts the gradient scale, standardizing gradients across layers and reducing the negative impact of overlapping gradients. Our experiments demonstrate that ZNorm improves training process, especially in non-convex optimization scenarios common in deep learning, where finding optimal solutions is challenging. These findings suggest that ZNorm can affect the gradient flow, enhancing performance in large-scale data processing where accuracy is critical.
• Abstract（参考訳）: ディープラーニングにおいて、Residual Networks (ResNets) は、消滅する勾配問題に対処し、非常に深いネットワークのトレーニングを成功させるのに有効であることが証明されている。 しかし、ResNetsにおけるスキップ接続は、学習された変換とスキップ接続の両方からの勾配が組み合わさり、過大評価された勾配をもたらす可能性がある。 この過大評価は最適化の効率を損なう可能性があり、いくつかの更新は最適な領域をオーバーシュートし、重み更新に影響する可能性がある。 そこで本稿では,Z-score Normalization (ZNorm) を勾配重なりの管理手法として検討する。 ZNormは勾配スケールを調整し、層間の勾配を標準化し、重なり合う勾配の負の影響を減らす。 我々の実験は、ZNormがトレーニングプロセスを改善することを示し、特にディープラーニングでよく見られる非凸最適化シナリオでは、最適な解を見つけることは困難である。 これらの結果から,ZNormは勾配流に影響し,精度が重要な大規模データ処理の性能を向上させることが示唆された。

関連論文リスト

• ZNorm: Z-Score Gradient Normalization for Deep Neural Networks [3.0412001961035497]
  Z-Score Normalization for Gradient Descent (ZNorm) は、学習の加速とモデル性能の向上のために勾配のみを調整する革新的な技術である。 ZNormは、全体的な勾配を正規化し、層をまたいだ一貫した勾配スケーリングを提供し、これにより、消滅と爆発する勾配のリスクを低減する。 医用画像の応用において、ZNormは腫瘍予測とセグメンテーション性能を改善し、その実用性を強調している。
  論文  参考訳（メタデータ） (2024-08-02T12:04:19Z)
• Adaptive Gradient Regularization: A Faster and Generalizable Optimization Technique for Deep Neural Networks [5.507301894089302]
  本稿では、勾配ベクトルの和正規化を係数として、ディープニューラルネットワークの新しい最適化手法を研究するための最初の試みである。 提案手法は適応勾配正規化 (Adaptive gradient regularization, AGR) と呼ばれる。
  論文  参考訳（メタデータ） (2024-07-24T02:23:18Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Gradient Correction beyond Gradient Descent [63.33439072360198]
  勾配補正は明らかに、ニューラルネットワークのトレーニングにおいて、最も重要な側面である。 勾配補正を行うためのフレームワーク(textbfGCGD)を導入する。 実験結果から, 勾配補正フレームワークは, トレーニングエポックスを$sim$20%削減し, ネットワーク性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-03-16T01:42:25Z)
• Penalizing Gradient Norm for Efficiently Improving Generalization in Deep Learning [13.937644559223548]
  ディープニューラルネットワーク(DNN)をうまく一般化するためのトレーニング方法が、ディープラーニングの中心的な関心事である。 最適化時の損失関数の勾配ノルムをペナルティ化することにより,モデル一般化を効果的に向上する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:03:45Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Layerwise Optimization by Gradient Decomposition for Continual Learning [78.58714373218118]
  ディープニューラルネットワークは、様々な領域で最先端の超人的パフォーマンスを実現します。 タスクを逐次学習する場合、ネットワークは「破滅的忘れ」と呼ばれる過去のタスクの知識を忘れやすい。
  論文  参考訳（メタデータ） (2021-05-17T01:15:57Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。