Fugu-MT 論文翻訳(概要): Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning

論文の概要: Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning

arxiv url: http://arxiv.org/abs/2011.03155v2
Date: Sat, 26 Feb 2022 12:50:20 GMT
ステータス: 処理完了
システム内更新日: 2022-09-29 04:14:19.530183
Title: Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning
Title（参考訳）: parametric flatten-t swish:ディープラーニングのための適応非線形活性化関数
Authors: Hock Hung Chieng, Noorhaniza Wahid and Pauline Ong
Abstract要約: Rectified Linear Unit (ReLU)は、ディープラーニングコミュニティでもっとも人気のあるアクティベーション機能である。本稿では,ReLUの代替としてParametric Flatten-T Swish(PFTS)を紹介する。 PFTSはトレーニング中に高い非線形近似能力を示し、ネットワークの予測性能を改善した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Activation function is a key component in deep learning that performs non-linear mappings between the inputs and outputs. Rectified Linear Unit (ReLU) has been the most popular activation function across the deep learning community. However, ReLU contains several shortcomings that can result in inefficient training of the deep neural networks, these are: 1) the negative cancellation property of ReLU tends to treat negative inputs as unimportant information for the learning, resulting in a performance degradation; 2) the inherent predefined nature of ReLU is unlikely to promote additional flexibility, expressivity, and robustness to the networks; 3) the mean activation of ReLU is highly positive and leads to bias shift effect in network layers; and 4) the multilinear structure of ReLU restricts the non-linear approximation power of the networks. To tackle these shortcomings, this paper introduced Parametric Flatten-T Swish (PFTS) as an alternative to ReLU. By taking ReLU as a baseline method, the experiments showed that PFTS improved classification accuracy on SVHN dataset by 0.31%, 0.98%, 2.16%, 17.72%, 1.35%, 0.97%, 39.99%, and 71.83% on DNN-3A, DNN-3B, DNN-4, DNN- 5A, DNN-5B, DNN-5C, DNN-6, and DNN-7, respectively. Besides, PFTS also achieved the highest mean rank among the comparison methods. The proposed PFTS manifested higher non-linear approximation power during training and thereby improved the predictive performance of the networks.
Abstract（参考訳）: アクティベーション関数は、入力と出力の間の非線形マッピングを実行するディープラーニングの重要なコンポーネントである。 Rectified Linear Unit (ReLU)は、ディープラーニングコミュニティでもっとも人気のあるアクティベーション機能である。しかし、ReLUには、ディープニューラルネットワークの非効率なトレーニングをもたらすいくつかの欠点が含まれている。 1)ReLUの負のキャンセル特性は、学習にとって重要でない情報として負の入力を扱い、結果として性能が低下する傾向にある。 2) reluの固有の既定の性質は,ネットワークに対する付加的な柔軟性,表現力,堅牢性を促進するものではない。 3) ReLU の活性化率は高く、ネットワーク層におけるバイアスシフト効果をもたらす。 4) ReLUの多重線形構造は, ネットワークの非線形近似能力を制限する。これらの欠点に対処するため,ReLUの代替としてParametric Flatten-T Swish (PFTS)を導入した。 ReLUを基準として、PFTSはSVHNデータセットの分類精度を0.31%、0.98%、2.16%、17.72%、1.35%、0.97%、39.99%、DNN-3A、DNN-3B、DNN-4、DNN-5A、DNN-5B、DNN-5C、DNN-6、DNN-7で改善した。また,PFTSは比較手法の中でも最高位に達した。提案したPFTSは,トレーニング中の非線形近似能力が向上し,ネットワークの予測性能が向上した。

関連論文リスト

Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Learning to Linearize Deep Neural Networks for Secure and Efficient Private Inference [5.293553970082942]
既存のReLU操作を減らす技術は、しばしば手作業と精度を犠牲にする。まず、非線形層のReLU感度の新たな尺度を示し、時間を要する手作業の軽減を可能にする。次に、レイヤごとのReLU数を自動割り当てし、各レイヤのアクティベーションマップのReLU位置を決定し、ReLUをはるかに少ないモデルでトレーニングする3段階トレーニング手法SENetを提案する。
論文参考訳（メタデータ） (2023-01-23T03:33:38Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文参考訳（メタデータ） (2022-06-15T22:42:29Z)
Piecewise Linear Units Improve Deep Neural Networks [0.0]
活性化機能は、ディープニューラルネットワークの非線形性の中心にある。現在、多くの実践者は、その単純さと信頼性から、Rectified Linear Unit (ReLU) を好んでいる。本稿では,ニューラルネットワークの各次元に対して独立に学習可能な適応的ピースワイド線形活性化関数Piecewise Linear Unit(PiLU)を提案する。
論文参考訳（メタデータ） (2021-08-02T08:09:38Z)
Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。提案されたSIDNNは、幅広いOPFスキームと互換性がある。他のLearning-to-OPFスキームとシームレスに統合できる。
論文参考訳（メタデータ） (2021-03-27T00:45:23Z)
A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。その結果,提案手法は勾配法よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-10-06T11:12:23Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)
LiSHT: Non-Parametric Linearly Scaled Hyperbolic Tangent Activation Function for Neural Networks [14.943863837083496]
我々は,Tanhを線形にスケーリングすることで,ニューラルネットワーク(NN)のための線形スケールハイパーボリックタンジェント(LiSHT)を提案する。マルチレイヤ・パーセプトロン(MLP)、Residual Network(ResNet)、Long-Short term memory(LSTM)を用いて、データ分類、画像分類、つぶやき分類タスクにおいて優れた性能を示す。
論文参考訳（メタデータ） (2019-01-01T02:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。