論文の概要: Activate or Not: Learning Customized Activation
- arxiv url: http://arxiv.org/abs/2009.04759v2
- Date: Fri, 16 Apr 2021 09:56:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 03:46:22.921674
- Title: Activate or Not: Learning Customized Activation
- Title(参考訳): Activate or not: カスタムアクティベーションの学習
- Authors: Ningning Ma, Xiangyu Zhang, Ming Liu and Jian Sun
- Abstract要約: ACONは神経細胞を活性化するかどうかを学ぶ。
Meta-ACONは、非線形(アクティベート)と線形(アクティベート)の間のパラメータスイッチングを最適化するために明示的に学習する
- 参考スコア(独自算出の注目度): 87.04710999861196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a simple, effective, and general activation function we term ACON
which learns to activate the neurons or not. Interestingly, we find Swish, the
recent popular NAS-searched activation, can be interpreted as a smooth
approximation to ReLU. Intuitively, in the same way, we approximate the more
general Maxout family to our novel ACON family, which remarkably improves the
performance and makes Swish a special case of ACON. Next, we present meta-ACON,
which explicitly learns to optimize the parameter switching between non-linear
(activate) and linear (inactivate) and provides a new design space. By simply
changing the activation function, we show its effectiveness on both small
models and highly optimized large models (e.g. it improves the ImageNet top-1
accuracy rate by 6.7% and 1.8% on MobileNet-0.25 and ResNet-152, respectively).
Moreover, our novel ACON can be naturally transferred to object detection and
semantic segmentation, showing that ACON is an effective alternative in a
variety of tasks. Code is available at https://github.com/nmaac/acon.
- Abstract(参考訳): 我々は、ニューロンを活性化するか否かを学習するACONという、シンプルで効果的で一般的な活性化機能を示す。
興味深いことに、最近のNASで検索されたアクティベーションであるSwishは、ReLUのスムーズな近似として解釈できる。
直感的には、より一般的なMaxoutファミリーを我々の小説ACONファミリーに近似し、SwishをACONの特別なケースにする。
次に,非線形(アクティベート)と線形(アクティベート)とのパラメータ切り換えを明示的に学習し,新しい設計空間を提供するメタACONを提案する。
アクティベーション機能を単純に変更することで、小型モデルと高度に最適化された大型モデルの両方で有効性を示す(例えば、imagenet top-1の精度を6.7%向上させ、mobilenet-0.25とresnet-152では1.8%向上する)。
さらに,新しいACONをオブジェクト検出やセマンティックセグメンテーションに自然に移行することで,ACONが様々なタスクにおいて有効な代替手段であることを示す。
コードはhttps://github.com/nmaac/aconで入手できる。
関連論文リスト
- A Non-monotonic Smooth Activation Function [4.269446061678759]
活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。
本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。
分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
論文 参考訳(メタデータ) (2023-10-16T07:09:47Z) - Systematic Architectural Design of Scale Transformed Attention Condenser
DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。
ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。
ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文 参考訳(メタデータ) (2023-06-16T18:29:26Z) - Differentially Private Image Classification from Features [53.75086935617644]
転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。
最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
論文 参考訳(メタデータ) (2022-11-24T04:04:20Z) - Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。
我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-29T14:16:49Z) - Adaptively Customizing Activation Functions for Various Layers [10.522556291990437]
本研究では、Sigmoid、Tanh、ReLUといった従来のアクティベーション関数にごく少数のパラメータを追加するだけで、アクティベーション関数を適応的にカスタマイズする新しい手法を提案する。
提案手法の有効性を検証するため, 収束の促進と性能向上に関する理論的, 実験的検討を行った。
その結果、提案手法は非常に単純であるが、収束速度、精度、一般化において大きな性能を有しており、ReLUやSwishのような適応関数といった他の一般的な手法を、全体的な性能の観点からほぼ全ての実験で上回っていることがわかった。
論文 参考訳(メタデータ) (2021-12-17T11:23:03Z) - Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。
定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文 参考訳(メタデータ) (2021-07-29T23:32:15Z) - CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。
スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。
提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
論文 参考訳(メタデータ) (2021-04-09T14:12:43Z) - Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。
特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。
PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文 参考訳(メタデータ) (2021-04-08T11:29:11Z) - Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。
最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。
現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。
まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
論文 参考訳(メタデータ) (2020-07-13T16:56:27Z) - Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。
CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文 参考訳(メタデータ) (2020-06-05T00:25:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。