論文の概要: Piecewise Linear Units Improve Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2108.00700v1
• Date: Mon, 2 Aug 2021 08:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 23:28:15.733798
• Title: Piecewise Linear Units Improve Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークを改良したPiecewise Linear Unit
• Authors: Jordan Inturrisi, Sui Yang Khoo, Abbas Kouzani, Riccardo Pagliarella
• Abstract要約: 活性化機能は、ディープニューラルネットワークの非線形性の中心にある。 現在、多くの実践者は、その単純さと信頼性から、Rectified Linear Unit (ReLU) を好んでいる。 本稿では,ニューラルネットワークの各次元に対して独立に学習可能な適応的ピースワイド線形活性化関数Piecewise Linear Unit(PiLU)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The activation function is at the heart of a deep neural networks nonlinearity; the choice of the function has great impact on the success of training. Currently, many practitioners prefer the Rectified Linear Unit (ReLU) due to its simplicity and reliability, despite its few drawbacks. While most previous functions proposed to supplant ReLU have been hand-designed, recent work on learning the function during training has shown promising results. In this paper we propose an adaptive piecewise linear activation function, the Piecewise Linear Unit (PiLU), which can be learned independently for each dimension of the neural network. We demonstrate how PiLU is a generalised rectifier unit and note its similarities with the Adaptive Piecewise Linear Units, namely adaptive and piecewise linear. Across a distribution of 30 experiments, we show that for the same model architecture, hyperparameters, and pre-processing, PiLU significantly outperforms ReLU: reducing classification error by 18.53% on CIFAR-10 and 13.13% on CIFAR-100, for a minor increase in the number of neurons. Further work should be dedicated to exploring generalised piecewise linear units, as well as verifying these results across other challenging domains and larger problems.
• Abstract（参考訳）: 活性化関数はディープニューラルネットワークの非線形性の中心であり、その関数の選択はトレーニングの成功に大きな影響を与える。 現在、多くの実践者は単純さと信頼性から整定線形単位(relu)を好むが、欠点は少ない。 ReLUの代替として提案された機能のほとんどは手作業で設計されているが、トレーニング中の関数の学習に関する最近の研究は有望な結果を示している。 本稿では,ニューラルネットワークの各次元に対して独立に学習可能な適応的ピースワイド線形活性化関数Piecewise Linear Unit (PiLU)を提案する。 我々は、PiLUが一般化整流器ユニットであることを示すとともに、適応ピアースワイド線形ユニットと類似点について述べる。 30実験の分布を通して、同じモデルアーキテクチャ、ハイパーパラメータ、前処理において、PiLUはReLUを著しく上回り、CIFAR-10では18.53%、CIFAR-100では13.13%の分類誤差を減らし、ニューロンの数もわずかに増加した。 さらなる研究は、一般化された区分線形単位の探索と、他の困難な領域やより大きな問題に対するこれらの結果の検証に費やされるべきである。

関連論文リスト

• Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
  LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。 この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-28T11:12:27Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning [23.83339228535986]
  さまざまなタイプの問題に対処するために、さまざまなタイプのニューラルネットワークが導入されている。 ニューラルネットワークの主な目標は、非線形分離可能な入力データをより線形分離可能な抽象的特徴に変換することである。 最もポピュラーで一般的な非線形層は、ロジスティックシグモド、タン、ReLU、ELU、Swish、Mishなどのアクティベーション関数(AF)である。
  論文  参考訳（メタデータ） (2021-09-29T16:41:19Z)
• Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
  畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。 ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。 新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
  論文  参考訳（メタデータ） (2021-08-30T01:07:05Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning [0.0]
  Rectified Linear Unit (ReLU)は、ディープラーニングコミュニティでもっとも人気のあるアクティベーション機能である。 本稿では,ReLUの代替としてParametric Flatten-T Swish(PFTS)を紹介する。 PFTSはトレーニング中に高い非線形近似能力を示し、ネットワークの予測性能を改善した。
  論文  参考訳（メタデータ） (2020-11-06T01:50:46Z)
• Activation Functions: Do They Represent A Trade-Off Between Modular Nature of Neural Networks And Task Performance [2.5919242494186037]
  ニューラルネットワークアーキテクチャを設計する上で重要な要素は、畳み込み層毎のフィルタ数、全接続層毎の隠れニューロン数、ドロップアウトとプルーニングである。 ほとんどの場合、デフォルトのアクティベーション関数はReLUであり、より高速なトレーニング収束を実証的に示している。
  論文  参考訳（メタデータ） (2020-09-16T16:38:16Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。