論文の概要: ALReLU: A different approach on Leaky ReLU activation function to
improve Neural Networks Performance
- arxiv url: http://arxiv.org/abs/2012.07564v2
- Date: Thu, 29 Apr 2021 07:33:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 07:25:44.213575
- Title: ALReLU: A different approach on Leaky ReLU activation function to
improve Neural Networks Performance
- Title（参考訳）: alrelu: ニューラルネットワークの性能向上のためのリーク型reluアクティベーション関数の異なるアプローチ
- Authors: Stamatis Mastromichalakis
- Abstract要約: 古典的ReLUアクティベーション関数(AF)はディープニューラルネットワーク(DNN)に広く応用されている
ReLUの一般的な勾配問題は、アカデミーや産業分野での応用に課題をもたらす。
LReLUの変種であるAbsolute Leaky ReLU (ALReLU) AFは、一般的な「ダイングReLU問題」を解決する代替手法として提案されている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Despite the unresolved 'dying ReLU problem', the classical ReLU activation
function (AF) has been extensively applied in Deep Neural Networks (DNN), in
particular Convolutional Neural Networks (CNN), for image classification. The
common gradient issues of ReLU pose challenges in applications on academy and
industry sectors. Recent approaches for improvements are in a similar direction
by just proposing variations of the AF, such as Leaky ReLU (LReLU), while
maintaining the solution within the same unresolved gradient problems. In this
paper, the Absolute Leaky ReLU (ALReLU) AF, a variation of LReLU, is proposed,
as an alternative method to resolve the common 'dying ReLU problem' on NN-based
algorithms for supervised learning. The experimental results demonstrate that
by using the absolute values of LReLU's small negative gradient, has a
significant improvement in comparison with LReLU and ReLU, on image
classification of diseases such as COVID-19, text and tabular data
classification tasks on five different datasets.
- Abstract（参考訳）: 未解決の「ダイイングReLU問題」にもかかわらず、古典的なReLU活性化関数(AF)はディープニューラルネットワーク(DNN)、特に畳み込みニューラルネットワーク(CNN)で画像分類に広く応用されている。
ReLUの一般的な勾配問題は、アカデミーや産業分野での応用に課題をもたらす。
改良のための最近のアプローチは、Leaky ReLU(LRELU)のようなAFのバリエーションを提案しながら、解を同じ未解決勾配問題内で維持することによって、同様の方向にある。
本稿では,lreluの変種である絶対漏洩relu (alrelu) afを,nnに基づく教師付き学習アルゴリズムにおける共通「ダイニングrelu問題」の解法として提案する。
実験の結果,LRELUの負勾配の絶対値を用いることで,5つのデータセット上でのテキストや表形式のデータ分類タスクなどの画像分類において,LRELUやReLUと比較して顕著な改善が得られた。
関連論文リスト
- SwishReLU: A Unified Approach to Activation Functions for Enhanced Deep Neural Networks Performance [1.2724528787590168]
ディープニューラルネットワークでよく使われるアクティベーション関数であるReLUは、"Dying ReLU"の問題に傾向がある。
ELU、SeLU、Swishなどいくつかの改良版が導入されており、一般的には使われていないと考えられている。
本稿では,ReLUとSwishの要素を組み合わせた新しいアクティベーション機能であるSwishReLUを提案する。
論文 参考訳（メタデータ） (2024-07-11T07:14:34Z) - ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。
2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。
我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
論文 参考訳（メタデータ） (2024-06-04T17:51:08Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。
我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
論文 参考訳（メタデータ） (2023-05-31T18:48:16Z) - An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural
Network with Group Sparsity [13.27709100571336]
近年,グループ正規化期間を持つリーク型ReLUネットワークが広く利用されている。
定常点を決定論的に計算する手法が存在しないことを示す。
本稿では,新しいモデルを解くための不正確な拡張ラグランジアンアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-11T11:53:15Z) - Solving Sparse Linear Inverse Problems in Communication Systems: A Deep
Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。
提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文 参考訳（メタデータ） (2020-10-29T06:32:53Z) - A ReLU Dense Layer to Improve the Performance of Neural Networks [40.2470651460466]
トレーニングされたニューラルネットワークの性能を向上させるために,ReDenseをシンプルかつ低複雑性な方法として提案する。
実験により、ReDenseは様々なニューラルネットワークアーキテクチャのトレーニングおよびテスト性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-10-22T11:56:01Z) - Boosting Gradient for White-Box Adversarial Attacks [60.422511092730026]
そこで本研究では,ADV-ReLUと呼ばれる,勾配に基づくホワイトボックス攻撃アルゴリズムの性能向上を目的とした,汎用的な逆例生成手法を提案する。
提案手法では,損失関数とネットワーク入力の勾配を算出し,その値をスコアにマップし,その一部を選択して誤導勾配を更新する。
論文 参考訳（メタデータ） (2020-10-21T02:13:26Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳（メタデータ） (2020-05-20T11:11:47Z) - Dynamic ReLU [74.973224160508]
本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。
静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。
単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
論文 参考訳（メタデータ） (2020-03-22T23:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。