論文の概要: Layer-level activation mechanism
- arxiv url: http://arxiv.org/abs/2306.04940v2
- Date: Mon, 3 Jul 2023 07:14:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 12:44:07.543251
- Title: Layer-level activation mechanism
- Title(参考訳): 層レベルの活性化機構
- Authors: Kihyuk Yoon and Chiehyeon Lim
- Abstract要約: LayerAct関数は、従来の要素レベルのアクティベーション関数よりもノイズが強いように設計されている。
また,LayerAct関数は,素子レベルのアクティベーション関数よりも優れたノイズ・ロバスト性を示すことを示す。
- 参考スコア(独自算出の注目度): 1.2691047660244335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a novel activation mechanism aimed at establishing
layer-level activation (LayerAct) functions. These functions are designed to be
more noise-robust compared to traditional element-level activation functions by
reducing the layer-level fluctuation of the activation outputs due to shift in
inputs. Moreover, the LayerAct functions achieve a zero-like mean activation
output without restricting the activation output space. We present an analysis
and experiments demonstrating that LayerAct functions exhibit superior
noise-robustness compared to element-level activation functions, and
empirically show that these functions have a zero-like mean activation.
Experimental results on three benchmark image classification tasks show that
LayerAct functions excel in handling noisy image datasets, outperforming
element-level activation functions, while the performance on clean datasets is
also superior in most cases.
- Abstract(参考訳): 本研究では,レイヤレベルのアクティベーション(layeract)機能を確立するための新しいアクティベーションメカニズムを提案する。
これらの機能は、入力のシフトによるアクティベーション出力の層レベルの変動を減らすことにより、従来の要素レベルのアクティベーション機能よりもノイズロバストなように設計されている。
さらに、LayerAct関数は、アクティベーション出力空間を制限することなく、ゼロライク平均アクティベーション出力を達成する。
本稿では,要素レベルの活性化関数に比べ,層状関数がノイズロバスト性に優れることを示す解析と実験を行い,これらの関数がゼロライクな平均活性化を持つことを示す。
3つのベンチマーク画像分類タスクの実験結果によると、LayerAct関数はノイズの多い画像データセットの処理に優れ、要素レベルのアクティベーション関数よりも優れており、クリーンデータセットのパフォーマンスもほとんどの場合優れている。
関連論文リスト
- ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity
within Large Language Models [76.81756526165533]
活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。
ほとんどの大きな言語モデル(LLM)は、固有のアクティベーション間隔のないアクティベーション機能を採用している。
本稿では, モデル性能を低下させることなく, LLMを高機能化するために, プロスパース (ProSparse) と呼ばれる効果的なスペーシフィケーション手法を提案する。
論文 参考訳(メタデータ) (2024-02-21T03:58:49Z) - ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse
LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。
スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。
我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文 参考訳(メタデータ) (2024-02-06T08:45:51Z) - Saturated Non-Monotonic Activation Functions [21.16866749728754]
SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。
CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2023-05-12T15:01:06Z) - Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。
まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。
第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
論文 参考訳(メタデータ) (2023-01-13T23:11:14Z) - Evaluating CNN with Oscillatory Activation Function [0.0]
画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。
本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
論文 参考訳(メタデータ) (2022-11-13T11:17:13Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳(メタデータ) (2022-08-30T09:47:31Z) - Learning to Refactor Action and Co-occurrence Features for Temporal
Action Localization [74.74339878286935]
アクション機能と共起機能は、しばしばビデオの実際のアクションコンテンツを支配します。
ビデオスニペット内でこれらの2種類の特徴を分離することで,新しい補助タスクを開発する。
まず、アクション内容を明示的に分解し、その共起機能を正規化します。
論文 参考訳(メタデータ) (2022-06-23T06:30:08Z) - Activation Functions: Dive into an optimal activation function [1.52292571922932]
既存のアクティベーション関数の重み付け和として定義することで、最適なアクティベーション関数を求める。
この研究は、ReLU、tanh、 sinという3つのアクティベーション関数を3つの人気のある画像データセットに使用しています。
論文 参考訳(メタデータ) (2022-02-24T12:44:11Z) - Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
論文 参考訳(メタデータ) (2021-05-30T20:08:20Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳(メタデータ) (2020-04-06T19:52:48Z) - Global Context-Aware Progressive Aggregation Network for Salient Object
Detection [117.943116761278]
我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。
提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-03-02T04:26:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。