論文の概要: Gradient Mask: Lateral Inhibition Mechanism Improves Performance in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2208.06918v1
• Date: Sun, 14 Aug 2022 20:55:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:56:52.504858
• Title: Gradient Mask: Lateral Inhibition Mechanism Improves Performance in Artificial Neural Networks
• Title（参考訳）: 勾配マスク: ニューラルネットワークにおける側方抑制機構の性能向上
• Authors: Lei Jiang and Yongqing Liu and Shihai Xiao and Yansong Chua
• Abstract要約: バックプロパゲーションにおける雑音勾配を効果的にフィルタするグラディエントマスクを提案する。 これにより、学習した特徴情報をネットワークにより集中的に格納できる。 ニューラルネットワークにおける横方向の抑制が、伝播勾配の品質をいかに改善するかを解析的に示す。
• 参考スコア（独自算出の注目度）: 5.591477512580285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lateral inhibitory connections have been observed in the cortex of the biological brain, and has been extensively studied in terms of its role in cognitive functions. However, in the vanilla version of backpropagation in deep learning, all gradients (which can be understood to comprise of both signal and noise gradients) flow through the network during weight updates. This may lead to overfitting. In this work, inspired by biological lateral inhibition, we propose Gradient Mask, which effectively filters out noise gradients in the process of backpropagation. This allows the learned feature information to be more intensively stored in the network while filtering out noisy or unimportant features. Furthermore, we demonstrate analytically how lateral inhibition in artificial neural networks improves the quality of propagated gradients. A new criterion for gradient quality is proposed which can be used as a measure during training of various convolutional neural networks (CNNs). Finally, we conduct several different experiments to study how Gradient Mask improves the performance of the network both quantitatively and qualitatively. Quantitatively, accuracy in the original CNN architecture, accuracy after pruning, and accuracy after adversarial attacks have shown improvements. Qualitatively, the CNN trained using Gradient Mask has developed saliency maps that focus primarily on the object of interest, which is useful for data augmentation and network interpretability.
• Abstract（参考訳）: 生体脳の皮質では側方抑制結合が観察されており、認知機能におけるその役割について広く研究されている。 しかし、ディープラーニングにおけるバックプロパゲーションのバニラバージョンでは、重み更新中にすべての勾配(信号勾配と雑音勾配の両方からなると理解できる)がネットワークを流れる。 これは過度に適合する可能性がある。 本研究では,生体の側方抑制に触発されて,バックプロパゲーションの過程でノイズ勾配を効果的に除去する勾配マスクを提案する。 これにより、学習した特徴情報は、ノイズや重要でない特徴をフィルタリングしながら、ネットワークにより集中的に格納される。 さらに,ニューラルネットワークの側方抑制が伝搬勾配の質をいかに改善するかを解析的に示す。 様々な畳み込みニューラルネットワーク(CNN)のトレーニングにおいて,尺度として使用できる勾配品質の新たな基準を提案する。 最後に,グラデーションマスクがネットワークの性能を定量的および質的に改善する方法について,いくつかの異なる実験を行った。 定量的には、オリジナルのCNNアーキテクチャの精度、プルーニング後の精度、敵攻撃後の精度が改善されている。 質的に言えば、グラディエントマスクを用いて訓練されたCNNは、主に関心の対象に焦点を当てた、データ拡張とネットワーク解釈性に有用なサリエンシマップを開発した。

関連論文リスト

• Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
  本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。 TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
  論文  参考訳（メタデータ） (2024-10-20T05:31:34Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
  ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。 スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
  論文  参考訳（メタデータ） (2022-11-14T21:34:02Z)
• Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
  ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。 損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
  論文  参考訳（メタデータ） (2022-08-01T20:31:58Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Improving Deep Learning Interpretability by Saliency Guided Training [36.782919916001624]
  精度法はモデル予測において重要な入力特徴を強調するために広く用いられている。 既存の方法の多くは、修正された勾配関数のバックプロパゲーションを使用して、サリエンシマップを生成する。 本稿では,予測に使用する雑音勾配を低減するために,ニューラルネットワークに対するサリエンシ指導訓練手法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T06:05:23Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)
• How Do Neural Networks Estimate Optical Flow? A Neuropsychology-Inspired Study [0.0]
  本稿では,深部ニューラルネットワークが光フローをどのように推定するかを検討する。 本研究では,光フロー推定のためのエンコーダデコーダニューラルネットワークのプロトタイプとして,FlowNetSに着目した。 神経心理学的な研究において,動物の脳に存在する運動フィルターの発見に重要な役割を担ったフィルタ同定法を用いている。
  論文  参考訳（メタデータ） (2020-04-20T14:08:28Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。