論文の概要: Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks

• arxiv url: http://arxiv.org/abs/2403.13833v1
• Date: Fri, 8 Mar 2024 01:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 07:07:37.438549
• Title: Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
• Title（参考訳）: 線形拘束重み:ニューラルネットワークの高速トレーニングのための活性化シフトの低減
• Authors: Takuro Kutsuna,
• Abstract要約: 完全連結層と畳み込み層の両方の活性化シフトを低減するために,線形拘束重み (LCW) を提案する。 LCWは、消失する勾配問題を解くことにより、シグモイド活性化関数を持つディープフィードフォワードネットワークを効率的に訓練することができる。
• 参考スコア（独自算出の注目度）: 1.7767466724342067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we first identify activation shift, a simple but remarkable phenomenon in a neural network in which the preactivation value of a neuron has non-zero mean that depends on the angle between the weight vector of the neuron and the mean of the activation vector in the previous layer. We then propose linearly constrained weights (LCW) to reduce the activation shift in both fully connected and convolutional layers. The impact of reducing the activation shift in a neural network is studied from the perspective of how the variance of variables in the network changes through layer operations in both forward and backward chains. We also discuss its relationship to the vanishing gradient problem. Experimental results show that LCW enables a deep feedforward network with sigmoid activation functions to be trained efficiently by resolving the vanishing gradient problem. Moreover, combined with batch normalization, LCW improves generalization performance of both feedforward and convolutional networks.
• Abstract（参考訳）: 本稿では、ニューロンの重みベクトルと前層の活性化ベクトルの平均との角度に依存する非ゼロ平均を持つニューラルネットワークにおいて、活性化シフトを初めて同定する。 次に,完全連結層と畳み込み層の両方の活性化シフトを低減するために,線形拘束重み (LCW) を提案する。 ニューラルネットワークにおけるアクティベーションシフトを減少させる影響は、前と後の両方のチェーンの層操作を通して、ネットワーク内の変数のばらつきがどのように変化するかという観点から研究される。 また、消滅する勾配問題との関係についても論じる。 実験結果からLCWは,Sigmoidアクティベーション機能を有するディープフィードフォワードネットワークを,消失する勾配問題の解法により効率的に訓練することが可能であることが示唆された。 さらに、バッチ正規化と組み合わせることで、LCWはフィードフォワードおよび畳み込みネットワークの一般化性能を向上させる。

関連論文リスト

• Improved weight initialization for deep and narrow feedforward neural network [3.0784574277021397]
  ReLUニューロンが不活性になり出力がゼロになる"Bluving Dieing ReLU"というテキスト引用の問題は、ReLUアクティベーション機能を備えたディープニューラルネットワークのトレーニングにおいて大きな課題となる。 本稿では,この問題に対処するための新しい重み初期化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T05:28:12Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Activation function design for deep networks: linearity and effective initialisation [10.108857371774977]
  先行作業で特定された初期化時の2つの問題を回避する方法を検討する。 これらの問題は, 原点付近に十分に大きな線形領域を持つ活性化関数を選択することで, どちらも回避できることを示す。
  論文  参考訳（メタデータ） (2021-05-17T11:30:46Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
  本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。 我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。 提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
  論文  参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。