論文の概要: Deep Neural Networks with Short Circuits for Improved Gradient Learning

• arxiv url: http://arxiv.org/abs/2009.11719v1
• Date: Wed, 23 Sep 2020 15:51:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 16:28:28.073992
• Title: Deep Neural Networks with Short Circuits for Improved Gradient Learning
• Title（参考訳）: 勾配学習を改善するための短絡型ディープニューラルネットワーク
• Authors: Ming Yan, Xueli Xiao, Joey Tianyi Zhou, Yi Pan
• Abstract要約: 本稿では,ディープニューラルネットワークの勾配学習を改善するための勾配拡張手法を提案する。 提案したショート回路は、深層から浅層への感度を単一のバックで伝搬する一方向接続である。 我々の実験では、コンピュータビジョンと自然言語処理の両タスクのベースラインよりも、短い回路でディープニューラルネットワークを実証している。
• 参考スコア（独自算出の注目度）: 43.79322478567049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have achieved great success both in computer vision and natural language processing tasks. However, mostly state-of-art methods highly rely on external training or computing to improve the performance. To alleviate the external reliance, we proposed a gradient enhancement approach, conducted by the short circuit neural connections, to improve the gradient learning of deep neural networks. The proposed short circuit is a unidirectional connection that single back propagates the sensitive from the deep layer to the shallows. Moreover, the short circuit formulates to be a gradient truncation of its crossing layers which can plug into the backbone deep neural networks without introducing external training parameters. Extensive experiments demonstrate deep neural networks with our short circuit gain a large margin over the baselines on both computer vision and natural language processing tasks.
• Abstract（参考訳）: ディープニューラルネットワークはコンピュータビジョンと自然言語処理の両方で大きな成功を収めている。 しかし、ほとんどの最先端の手法は、パフォーマンスを改善するために外部トレーニングやコンピューティングに大きく依存している。 外部依存を軽減するため,我々は,ニューラルネットワークの勾配学習を改善するために,短絡ニューラルネットワークによる勾配向上手法を提案した。 提案したショート回路は、深層から浅層への感度を単一のバックで伝搬する一方向接続である。 さらに、短絡回路は、外部のトレーニングパラメータを導入することなく、バックボーン深層ニューラルネットワークに接続可能な交差層を勾配的に切り離すことを定式化する。 広範な実験により、コンピュータビジョンと自然言語処理タスクの両方のベースラインに対して、短い回路で大きなマージンを得ることができるディープニューラルネットワークが示されました。

関連論文リスト

• NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer [5.373015313199385]
  深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。 我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2024-04-24T09:12:04Z)
• A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique [0.0]
  本稿では,各層における勾配計算の必要性を解消する新しい瞬時パラメータ更新手法を提案する。 提案手法は,学習を加速し,消失する勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。
  論文  参考訳（メタデータ） (2023-08-09T16:41:00Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Functional Connectome: Approximating Brain Networks with Artificial Neural Networks [1.952097552284465]
  訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。 訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。 本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
  論文  参考訳（メタデータ） (2022-11-23T13:12:13Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
  我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。 オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
  論文  参考訳（メタデータ） (2021-10-15T02:13:48Z)
• Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
  ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。 勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。 非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
  論文  参考訳（メタデータ） (2021-06-17T13:24:43Z)
• Recurrent neural circuits for contour detection [13.177012031313906]
  視覚皮質回路を近似するディープリカレントニューラルネットワークアーキテクチャを導入する。 ガンマネットは、最先端のフィードフォワードネットワークよりも優れたサンプル効率で輪郭検出タスクを解くことを学ぶ。
  論文  参考訳（メタデータ） (2020-10-29T02:09:40Z)
• Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
  本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。 繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。 シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
  論文  参考訳（メタデータ） (2020-10-20T18:55:32Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。