論文の概要: LayerAct: Advanced Activation Mechanism for Robust Inference of CNNs

• arxiv url: http://arxiv.org/abs/2306.04940v5
• Date: Tue, 18 Feb 2025 21:12:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:57:45.147783
• Title: LayerAct: Advanced Activation Mechanism for Robust Inference of CNNs
• Title（参考訳）: LayerAct: CNNのロバスト推論のための高度な活性化機構
• Authors: Kihyuk Yoon, Chiehyeon Lim,
• Abstract要約: CNNのためのLayerActと呼ばれる新しいアクティベーション機構を提案する。 また,LayerAct関数はElementAct関数よりも優れたロバスト性を示すことを示す。
• 参考スコア（独自算出の注目度）: 2.8895603929817217
• License:
• Abstract: In this work, we propose a novel activation mechanism called LayerAct for CNNs. This approach is motivated by our theoretical and experimental analyses, which demonstrate that Layer Normalization (LN) can mitigate a limitation of existing activation functions regarding noise robustness. However, LN is known to be disadvantageous in CNNs due to its tendency to make activation outputs homogeneous. The proposed method is designed to be more robust than existing activation functions by reducing the upper bound of influence caused by input shifts without inheriting LN's limitation. We provide analyses and experiments showing that LayerAct functions exhibit superior robustness compared to ElementAct functions. Experimental results on three clean and noisy benchmark datasets for image classification tasks indicate that LayerAct functions outperform other activation functions in handling noisy datasets while achieving superior performance on clean datasets in most cases.
• Abstract（参考訳）: 本研究では,CNNのためのLayerActと呼ばれる新しいアクティベーション機構を提案する。 この手法は,LN(Layer Normalization, 層正規化)が, 雑音の頑健性に関する既存の活性化関数の制限を緩和できることを示す理論的および実験的分析によって動機づけられた。 しかし、LNは活性化出力を均一にする傾向にあるため、CNNでは不利であることが知られている。 提案手法は,LNの制限を継承することなく,入力シフトによる影響の上限を下げることにより,既存のアクティベーション関数よりもロバストに設計されている。 本稿では,レイヤAct 関数が ElementAct 関数よりも優れたロバスト性を示すことを示す解析と実験を行う。 画像分類タスクのためのクリーンでノイズの多い3つのベンチマークデータセットの実験結果は、LayerAct関数がノイズの多いデータセットを処理する際に、他のアクティベーション関数よりも優れており、ほとんどの場合、クリーンなデータセットでの優れたパフォーマンスを実現していることを示している。

関連論文リスト

• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [62.09617609556697]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• CHESS: Optimizing LLM Inference via Channel-Wise Thresholding and Selective Sparsification [7.8430836312711465]
  本稿では,アクティベーションスペーシフィケーション問題を修正し,アクティベーションスペーシビリティとモデル性能の関係を明確に把握する。 本稿では,Channel-wise thrEsholding と Selective Sparsification による一般的な活性化スカラー化手法であるCHESSを提案する。 実験の結果,提案したCHESSは,既存の手法よりも少ないパラメータを活性化しながら,8つの下流タスクよりも低い性能劣化を実現することがわかった。
  論文  参考訳（メタデータ） (2024-09-02T16:41:44Z)
• A Method on Searching Better Activation Functions [15.180864683908878]
  深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。 我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
  論文  参考訳（メタデータ） (2024-05-19T03:48:05Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Saturated Non-Monotonic Activation Functions [21.16866749728754]
  SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。 CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T15:01:06Z)
• A Fair Loss Function for Network Pruning [70.35230425589592]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Stochastic Adaptive Activation Function [1.9199289015460212]
  本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。 実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
  論文  参考訳（メタデータ） (2022-10-21T01:57:25Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Squashing activation functions in benchmark tests: towards eXplainable Artificial Intelligence using continuous-valued logic [0.0]
  この研究は、ニューラルネットワークにおけるスカッシング関数のパフォーマンスを測定する最初のベンチマークテストを示す。 ユーザビリティを調べるために3つの実験を行い、5種類のネットワークに対して最も人気のあるアクティベーション関数との比較を行った。 その結果, 組込み零度論理演算子とスクアッシング関数の微分可能性により, 分類問題を解くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-17T10:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。