論文の概要: Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2410.16958v1
• Date: Tue, 22 Oct 2024 12:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:28:44.545060
• Title: Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおける前方・後方パスファシリテート活性化の最大化に影響を及ぼす漏洩反応
• Authors: Christoph Linse, Erhardt Barth, Thomas Martinetz,
• Abstract要約: アクティベーション(AM)は最適な入力を生成し、トレーニングされたディープニューラルネットワークで高い応答をトリガーする機能を明らかにする。 本稿では,ReLU や Leaky ReLU を含む単純な関数に対して,AM が最適入力を生成できないことを示す。 本稿では,後進パスに負の勾配を持つLeaky ReLUを用いて,前進パスに,元の(通常ゼロの)傾斜を保ちながら,後方パスに高い負の勾配を持つ解を提案する。
• 参考スコア（独自算出の注目度）: 0.022344294014777957
• License:
• Abstract: Activation maximization (AM) strives to generate optimal input stimuli, revealing features that trigger high responses in trained deep neural networks. AM is an important method of explainable AI. We demonstrate that AM fails to produce optimal input stimuli for simple functions containing ReLUs or Leaky ReLUs, casting doubt on the practical usefulness of AM and the visual interpretation of the generated images. This paper proposes a solution based on using Leaky ReLUs with a high negative slope in the backward pass while keeping the original, usually zero, slope in the forward pass. The approach significantly increases the maxima found by AM. The resulting ProxyGrad algorithm implements a novel optimization technique for neural networks that employs a secondary network as a proxy for gradient computation. This proxy network is designed to have a simpler loss landscape with fewer local maxima than the original network. Our chosen proxy network is an identical copy of the original network, including its weights, with distinct negative slopes in the Leaky ReLUs. Moreover, we show that ProxyGrad can be used to train the weights of Convolutional Neural Networks for classification such that, on some of the tested benchmarks, they outperform traditional networks.
• Abstract（参考訳）: アクティベーション最大化(AM)は最適な入力刺激を生成し、訓練されたディープニューラルネットワークで高い応答を引き起こす特徴を明らかにする。 AMは説明可能なAIの重要な方法である。 我々は、AMがReLUやLeaky ReLUを含む単純な関数に対して最適な入力刺激を生成できず、AMの実用性や生成した画像の視覚的解釈に疑問を呈することを示した。 本稿では,後進パスに高い負の傾斜を有するLeaky ReLUを用いた場合,前進パスに通常ゼロの傾斜を保ちながら,逆進パスに高い負の傾斜を有する解を提案する。 このアプローチは、AMが発見した最大値を大きく上昇させる。 結果として得られるProxyGradアルゴリズムは、勾配計算のプロキシとして二次ネットワークを利用するニューラルネットワークの新しい最適化手法を実装している。 このプロキシネットワークは、元のネットワークよりも局所的な最大値が少なく、より単純なロスランドスケープを持つように設計されている。 我々の選択したプロキシネットワークは、その重みを含む元のネットワークの同一のコピーであり、Leaky ReLUでは異なる負の傾きがある。 さらに,ProxyGradを用いて畳み込みニューラルネットワークの重み付けをトレーニングし,従来のネットワークよりも優れていることを示す。

関連論文リスト

• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• An Exact Mapping From ReLU Networks to Spiking Neural Networks [3.1701886344065255]
  本稿では,Rectified Linear Units (ReLUs) を用いたネットワークから,ニューロン毎のスパイクを正確に1回発射するSNNへの正確なマッピングを提案する。 より一般的には、任意の深部ReLUネットワークが、パフォーマンスを失うことなく、エネルギー効率のよい単一スパイクニューラルネットワークに置き換えられることを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:31:09Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Implicit Euler ODE Networks for Single-Image Dehazing [33.34490764631837]
  単一画像デハージング問題に対して,効率的なマルチレベル暗黙ネットワーク(MI-Net)を提案する。 提案手法は既存の手法より優れ,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-07-13T15:27:33Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。