論文の概要: Competition-based Adaptive ReLU for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2407.19441v1
• Date: Sun, 28 Jul 2024 09:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 18:12:26.180407
• Title: Competition-based Adaptive ReLU for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのための競合型適応型ReLU
• Authors: Junjia Chen, Zhibin Pan,
• Abstract要約: 活性化関数はディープニューラルネットワークに非線形性をもたらす。 競争型アダプティブReLU(CAReLU)を提案する。 画像分類,超解像,自然言語処理におけるCARELUの有効性を検証する。
• 参考スコア（独自算出の注目度）: 10.312968200748118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation functions introduce nonlinearity into deep neural networks. Most popular activation functions allow positive values to pass through while blocking or suppressing negative values. From the idea that positive values and negative values are equally important, and they must compete for activation, we proposed a new Competition-based Adaptive ReLU (CAReLU). CAReLU scales the input values based on the competition results between positive values and negative values. It defines two parameters to adjust the scaling strategy and can be trained uniformly with other network parameters. We verify the effectiveness of CAReLU on image classification, super-resolution, and natural language processing tasks. In the experiment, our method performs better than other widely used activation functions. In the case of replacing ReLU in ResNet-18 with our proposed activation function, it improves the classification accuracy on the CIFAR-100 dataset. The effectiveness and the new perspective on the utilization of competition results between positive values and negative values make CAReLU a promising activation function.
• Abstract（参考訳）: 活性化関数はディープニューラルネットワークに非線形性をもたらす。 ほとんどの一般的なアクティベーション関数は、負の値をブロックしたり抑制したりしながら、正の値を通すことができる。 正の値と負の値も同様に重要であり、アクティベーションを競う必要があるという考えから、我々は新しいコンペティションベースの適応ReLU(CAReLU)を提案した。 CARELUは、正の値と負の値の競合結果に基づいて入力値をスケールする。 スケーリング戦略を調整するための2つのパラメータを定義し、他のネットワークパラメータと一様にトレーニングすることができる。 画像分類,超解像,自然言語処理におけるCARELUの有効性を検証する。 実験では,本手法は他の広く用いられているアクティベーション関数よりも優れた性能を示した。 ResNet-18のReLUをアクティベーション関数に置き換える場合、CIFAR-100データセットの分類精度を向上させる。 正の値と負の値の競合結果の有効性および新しい視点は、CAReLUを有望な活性化関数にする。

関連論文リスト

• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks [1.3477333339913569]
  TaLUはTanhとReLUを組み合わせた活性化機能である。 MNIST と CIFAR-10 の深層学習モデルについて検討した。
  論文  参考訳（メタデータ） (2023-05-08T01:13:59Z)
• Improving Classification Neural Networks by using Absolute activation function (MNIST/LeNET-5 example) [0.0]
  ディープネットワークでは絶対的活性化は消滅や爆発的な勾配を引き起こしないため、絶対的活性化は単純なニューラルネットワークとディープニューラルネットワークの両方で使用できる。 Absolute アクティベーションに基づく LeNet のようなアーキテクチャで MNIST 問題を解くことで,予測精度を向上させることにより,ニューラルネットワーク内のトレーニングパラメータの数を著しく削減できることが示されている。
  論文  参考訳（メタデータ） (2023-04-23T22:17:58Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  関数空間における凸正規化器であり、容易に調整できる明示的な関数正規化を提案する。 提案手法の収束を理論的・実験的に解析し,より理論的に根ざした機能正規化アプローチでターゲットネットワークを置き換えることにより,サンプリング効率と性能が向上することが実証された。
  論文  参考訳（メタデータ） (2022-10-21T22:27:07Z)
• Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
  負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。 これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。 提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
  論文  参考訳（メタデータ） (2022-10-17T13:32:52Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• PEA: Improving the Performance of ReLU Networks for Free by Using Progressive Ensemble Activations [0.0]
  ニューラルネットワークの性能を改善するために、新しい活性化関数が提案されている。 本稿では,ReLUネットワークの性能向上に有効な手法を提案する。
  論文  参考訳（メタデータ） (2022-07-28T13:29:07Z)
• Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
  ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。 本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。 この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2021-06-04T17:21:07Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Soft-Root-Sign Activation Function [21.716884634290516]
  SRS(Soft-Root-Sign)は滑らかで、非単調で有界である。 ReLUとは対照的に、SRSは独立したトレーニング可能なパラメータのペアによって出力を適応的に調整することができる。 我々のSRSはReLUや他の最先端の非線形性と一致または超えます。
  論文  参考訳（メタデータ） (2020-03-01T18:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。