論文の概要: LayerAct: Advanced Activation Mechanism for Robust Inference of CNNs

• arxiv url: http://arxiv.org/abs/2306.04940v4
• Date: Fri, 20 Dec 2024 05:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:22:40.014521
• Title: LayerAct: Advanced Activation Mechanism for Robust Inference of CNNs
• Title（参考訳）: LayerAct: CNNのロバスト推論のための高度な活性化機構
• Authors: Kihyuk Yoon, Chiehyeon Lim,
• Abstract要約: CNNのためのLayerActと呼ばれる新しいアクティベーション機構を提案する。 また,LayerAct関数はElementAct関数よりも優れたロバスト性を示すことを示す。
• 参考スコア（独自算出の注目度）: 2.8895603929817217
• License:
• Abstract: In this work, we propose a novel activation mechanism called LayerAct for CNNs. This approach is motivated by our theoretical and experimental analyses, which demonstrate that Layer Normalization (LN) can mitigate a limitation of existing activation functions regarding noise robustness. However, LN is known to be disadvantageous in CNNs due to its tendency to make activation outputs homogeneous. The proposed method is designed to be more robust than existing activation functions by reducing the upper bound of influence caused by input shifts without inheriting LN's limitation. We provide analyses and experiments showing that LayerAct functions exhibit superior robustness compared to ElementAct functions. Experimental results on three clean and noisy benchmark datasets for image classification tasks indicate that LayerAct functions outperform other activation functions in handling noisy datasets while achieving superior performance on clean datasets in most cases.
• Abstract（参考訳）: 本研究では,CNNのためのLayerActと呼ばれる新しいアクティベーション機構を提案する。 この手法は,LN(Layer Normalization, 層正規化)が, 雑音の頑健性に関する既存の活性化関数の制限を緩和できることを示す理論的および実験的分析によって動機づけられた。 しかし、LNは活性化出力を均一にする傾向にあるため、CNNでは不利であることが知られている。 提案手法は,LNの制限を継承することなく,入力シフトによる影響の上限を下げることにより,既存のアクティベーション関数よりもロバストに設計されている。 本稿では,レイヤAct 関数が ElementAct 関数よりも優れたロバスト性を示すことを示す解析と実験を行う。 画像分類タスクのためのクリーンでノイズの多い3つのベンチマークデータセットの実験結果は、LayerAct関数がノイズの多いデータセットを処理する際に、他のアクティベーション関数よりも優れており、ほとんどの場合、クリーンなデータセットでの優れたパフォーマンスを実現していることを示している。

関連論文リスト

• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• Improving Quaternion Neural Networks with Quaternionic Activation Functions [3.8750364147156247]
  四元数等級や位相を変更できる新しい四元数活性化関数を提案する。 提案した活性化関数は、勾配降下法で訓練された任意の四元数値ニューラルネットワークに組み込むことができる。
  論文  参考訳（メタデータ） (2024-06-24T09:36:58Z)
• ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models [74.59731375779934]
  活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。 本稿では,PLMを高活性化空間にプッシュするために,"ProSparse" という,シンプルで効果的なスペース化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T03:58:49Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• Saturated Non-Monotonic Activation Functions [21.16866749728754]
  SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。 CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T15:01:06Z)
• Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
  本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。 まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。 第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
  論文  参考訳（メタデータ） (2023-01-13T23:11:14Z)
• Evaluating CNN with Oscillatory Activation Function [0.0]
  画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。 本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
  論文  参考訳（メタデータ） (2022-11-13T11:17:13Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Learning to Refactor Action and Co-occurrence Features for Temporal Action Localization [74.74339878286935]
  アクション機能と共起機能は、しばしばビデオの実際のアクションコンテンツを支配します。 ビデオスニペット内でこれらの2種類の特徴を分離することで,新しい補助タスクを開発する。 まず、アクション内容を明示的に分解し、その共起機能を正規化します。
  論文  参考訳（メタデータ） (2022-06-23T06:30:08Z)
• Activation Functions: Dive into an optimal activation function [1.52292571922932]
  既存のアクティベーション関数の重み付け和として定義することで、最適なアクティベーション関数を求める。 この研究は、ReLU、tanh、 sinという3つのアクティベーション関数を3つの人気のある画像データセットに使用しています。
  論文  参考訳（メタデータ） (2022-02-24T12:44:11Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。