論文の概要: Activate or Not: Learning Customized Activation

• arxiv url: http://arxiv.org/abs/2009.04759v2
• Date: Fri, 16 Apr 2021 09:56:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 03:46:22.921674
• Title: Activate or Not: Learning Customized Activation
• Title（参考訳）: Activate or not: カスタムアクティベーションの学習
• Authors: Ningning Ma, Xiangyu Zhang, Ming Liu and Jian Sun
• Abstract要約: ACONは神経細胞を活性化するかどうかを学ぶ。 Meta-ACONは、非線形(アクティベート)と線形(アクティベート)の間のパラメータスイッチングを最適化するために明示的に学習する
• 参考スコア（独自算出の注目度）: 87.04710999861196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a simple, effective, and general activation function we term ACON which learns to activate the neurons or not. Interestingly, we find Swish, the recent popular NAS-searched activation, can be interpreted as a smooth approximation to ReLU. Intuitively, in the same way, we approximate the more general Maxout family to our novel ACON family, which remarkably improves the performance and makes Swish a special case of ACON. Next, we present meta-ACON, which explicitly learns to optimize the parameter switching between non-linear (activate) and linear (inactivate) and provides a new design space. By simply changing the activation function, we show its effectiveness on both small models and highly optimized large models (e.g. it improves the ImageNet top-1 accuracy rate by 6.7% and 1.8% on MobileNet-0.25 and ResNet-152, respectively). Moreover, our novel ACON can be naturally transferred to object detection and semantic segmentation, showing that ACON is an effective alternative in a variety of tasks. Code is available at https://github.com/nmaac/acon.
• Abstract（参考訳）: 我々は、ニューロンを活性化するか否かを学習するACONという、シンプルで効果的で一般的な活性化機能を示す。 興味深いことに、最近のNASで検索されたアクティベーションであるSwishは、ReLUのスムーズな近似として解釈できる。 直感的には、より一般的なMaxoutファミリーを我々の小説ACONファミリーに近似し、SwishをACONの特別なケースにする。 次に,非線形(アクティベート)と線形(アクティベート)とのパラメータ切り換えを明示的に学習し,新しい設計空間を提供するメタACONを提案する。 アクティベーション機能を単純に変更することで、小型モデルと高度に最適化された大型モデルの両方で有効性を示す(例えば、imagenet top-1の精度を6.7%向上させ、mobilenet-0.25とresnet-152では1.8%向上する)。 さらに,新しいACONをオブジェクト検出やセマンティックセグメンテーションに自然に移行することで,ACONが様々なタスクにおいて有効な代替手段であることを示す。 コードはhttps://github.com/nmaac/aconで入手できる。

関連論文リスト

• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• A Non-monotonic Smooth Activation Function [4.269446061678759]
  活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。 本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。 分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
  論文  参考訳（メタデータ） (2023-10-16T07:09:47Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• Differentially Private Image Classification from Features [53.75086935617644]
  転送学習を活用することは、差分プライバシーを持つ大規模モデルのトレーニングに有効な戦略であることが示されている。 最近の研究によると、訓練済みモデルの最後の層だけをプライベートにトレーニングすることは、DPで最高のユーティリティを提供する。
  論文  参考訳（メタデータ） (2022-11-24T04:04:20Z)
• Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
  本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。 我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:16:49Z)
• Adaptively Customizing Activation Functions for Various Layers [10.522556291990437]
  本研究では、Sigmoid、Tanh、ReLUといった従来のアクティベーション関数にごく少数のパラメータを追加するだけで、アクティベーション関数を適応的にカスタマイズする新しい手法を提案する。 提案手法の有効性を検証するため, 収束の促進と性能向上に関する理論的, 実験的検討を行った。 その結果、提案手法は非常に単純であるが、収束速度、精度、一般化において大きな性能を有しており、ReLUやSwishのような適応関数といった他の一般的な手法を、全体的な性能の観点からほぼ全ての実験で上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-17T11:23:03Z)
• Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
  本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。 特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
  論文  参考訳（メタデータ） (2021-04-08T11:29:11Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。