論文の概要: Activated Gradients for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2107.04228v1
• Date: Fri, 9 Jul 2021 06:00:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 14:00:04.674311
• Title: Activated Gradients for Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークのための活性化勾配
• Authors: Mei Liu, Liangming Chen, Xiaohao Du, Long Jin, and Mingsheng Shang
• Abstract要約: ディープニューラルネットワークは、条件の悪い問題のために、パフォーマンスの低下やトレーニングの失敗に悩まされることが多い。 本稿では,勾配に勾配活性化関数(GAF)を作用させることにより,これらの課題に対処する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 9.476778519758426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks often suffer from poor performance or even training failure due to the ill-conditioned problem, the vanishing/exploding gradient problem, and the saddle point problem. In this paper, a novel method by acting the gradient activation function (GAF) on the gradient is proposed to handle these challenges. Intuitively, the GAF enlarges the tiny gradients and restricts the large gradient. Theoretically, this paper gives conditions that the GAF needs to meet, and on this basis, proves that the GAF alleviates the problems mentioned above. In addition, this paper proves that the convergence rate of SGD with the GAF is faster than that without the GAF under some assumptions. Furthermore, experiments on CIFAR, ImageNet, and PASCAL visual object classes confirm the GAF's effectiveness. The experimental results also demonstrate that the proposed method is able to be adopted in various deep neural networks to improve their performance. The source code is publicly available at https://github.com/LongJin-lab/Activated-Gradients-for-Deep-Neural-Networks.
• Abstract（参考訳）: ディープニューラルネットワークは、悪条件の問題、消失/爆発勾配問題、サドルポイント問題などにより、パフォーマンスの低下やトレーニングの失敗に苦しむことが多い。 本稿では,勾配に勾配活性化関数(GAF)を作用させることにより,これらの課題に対処する新しい手法を提案する。 直感的には、GAFは小さな勾配を拡大し、大きな勾配を制限する。 理論的には、この論文は、GAFが満たすべき条件を与え、この条件に基づいて、GAFが上記の問題を緩和することを証明している。 さらに, 本論文は, SGD のGAF との収束速度がGAF を含まない場合よりも速いことを証明する。 さらに、CIFAR、ImageNet、PASCAL視覚オブジェクトクラスに関する実験により、GAFの有効性が確認された。 また,実験結果から,提案手法が様々なディープニューラルネットワークに採用され,性能が向上することが示唆された。 ソースコードはhttps://github.com/LongJin-lab/Activated-Gradients-for-Deep-Neural-Networksで公開されている。

関連論文リスト

• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Bregman Graph Neural Network [27.64062763929748]
  ノード分類タスクでは、GNNによって誘導される滑らか化効果は、連結ノードの表現と過剰な均質化ラベルを同化する傾向がある。 本稿では,Bregman 距離の概念に触発された GNN のための新しい二段階最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-12T23:54:24Z)
• Can Unstructured Pruning Reduce the Depth in Deep Neural Networks? [5.869633234882029]
  プルーニングは、パフォーマンスを維持しながら、ディープニューラルネットワークのサイズを減らすために広く使われているテクニックである。 本研究では,深層ニューラルネットワークのサイズを減らし,その性能を保ちつつ,革新的なエントロピー誘導型プルーニングアルゴリズムであるEGPを紹介する。
  論文  参考訳（メタデータ） (2023-08-12T17:27:49Z)
• Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again [96.4999517230259]
  我々は,深いGCNの準標準性能を理解するために,勾配流の新しい視点を提供する。 スキップ接続を用いたバニラGCNの勾配誘導動的スイッチングを提案する。 我々の手法は、彼らのパフォーマンスを大幅に向上させ、快適に競争し、多くの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-14T21:30:25Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• TSG: Target-Selective Gradient Backprop for Probing CNN Visual Saliency [72.9106103283475]
  我々は、畳み込みニューラルネットワークを解釈するために視覚的サリエンシ、すなわち視覚的説明について研究する。 これらの観測に触発されて、我々はTSG(Target-Selective Gradient)バックプロップと呼ばれる新しいビジュアル・サリエンシ・フレームワークを提案する。 提案したTSGはTSG-ConvとTSG-FCの2つのコンポーネントから構成され、それぞれ畳み込み層と完全連結層の勾配を補正する。
  論文  参考訳（メタデータ） (2021-10-11T12:00:20Z)
• Graph Neural Networks with Adaptive Frequency Response Filter [55.626174910206046]
  適応周波数応答フィルタを用いたグラフニューラルネットワークフレームワークAdaGNNを開発した。 提案手法の有効性を,様々なベンチマークデータセット上で実証的に検証した。
  論文  参考訳（メタデータ） (2021-04-26T19:31:21Z)
• Tackling Over-Smoothing for General Graph Convolutional Networks [88.71154017107257]
  一般的なGCNは、GCN, GCN with bias, ResGCN, APPNPを含む深度の増加とともにどのように振る舞うかを検討する。 そこで我々はDropEdgeを提案し,各トレーニングエポックにおいて一定数のエッジをランダムに除去することで過度なスムース化を緩和する。
  論文  参考訳（メタデータ） (2020-08-22T16:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。