論文の概要: Layer-level activation mechanism

• arxiv url: http://arxiv.org/abs/2306.04940v1
• Date: Thu, 8 Jun 2023 05:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 16:13:01.072937
• Title: Layer-level activation mechanism
• Title（参考訳）: 層レベルの活性化機構
• Authors: Yoon Kihyuk and Lim Chiehyeon
• Abstract要約: LayerAct関数は、従来の要素レベルのアクティベーション関数よりもノイズが強いように設計されている。 また,LayerAct関数は,素子レベルのアクティベーション関数よりも優れたノイズ・ロバスト性を示すことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose a novel activation mechanism aimed at establishing layer-level activation (LayerAct) functions. These functions are designed to be more noise-robust compared to traditional element-level activation functions by reducing the layer-level fluctuation of the activation outputs due to shift in inputs. Moreover, the LayerAct functions achieve a zero-like mean activation output without restricting the activation output space. We present an analysis and experiments demonstrating that LayerAct functions exhibit superior noise-robustness compared to element-level activation functions, and empirically show that these functions have a zero-like mean activation. Experimental results on three benchmark image classification tasks show that LayerAct functions excel in handling noisy image datasets, outperforming element-level activation functions, while the performance on clean datasets is also superior in most cases.
• Abstract（参考訳）: 本研究では,レイヤレベルのアクティベーション(layeract)機能を確立するための新しいアクティベーションメカニズムを提案する。 これらの機能は、入力のシフトによるアクティベーション出力の層レベルの変動を減らすことにより、従来の要素レベルのアクティベーション機能よりもノイズロバストなように設計されている。 さらに、LayerAct関数は、アクティベーション出力空間を制限することなく、ゼロライク平均アクティベーション出力を達成する。 本稿では,要素レベルの活性化関数に比べ,層状関数がノイズロバスト性に優れることを示す解析と実験を行い,これらの関数がゼロライクな平均活性化を持つことを示す。 3つのベンチマーク画像分類タスクの実験結果によると、LayerAct関数はノイズの多い画像データセットの処理に優れ、要素レベルのアクティベーション関数よりも優れており、クリーンデータセットのパフォーマンスもほとんどの場合優れている。

関連論文リスト

• Sparsing Law: Towards Large Language Models with Greater Activation Sparsity [62.09617609556697]
  活性化空間性は、除去できる活性化出力の中に、かなり弱い分散要素が存在することを表す。 PPL-$p%$ sparsity, a accurate and performance-aware activation sparsity metric。 我々は、SiLUよりも活性化関数としてReLUが効率的であることを示し、より多くのトレーニングデータを利用してアクティベーション空間を改善することができることを示した。
  論文  参考訳（メタデータ） (2024-11-04T17:59:04Z)
• Not All Diffusion Model Activations Have Been Evaluated as Discriminative Features [115.33889811527533]
  拡散モデルは当初、画像生成のために設計されている。 近年の研究では、バックボーンの内部シグナルはアクティベーションと呼ばれ、様々な識別タスクの高密度な特徴として機能することが示されている。
  論文  参考訳（メタデータ） (2024-10-04T16:05:14Z)
• CHESS: Optimizing LLM Inference via Channel-Wise Thresholding and Selective Sparsification [7.8430836312711465]
  本稿では,アクティベーションスペーシフィケーション問題を修正し,アクティベーションスペーシビリティとモデル性能の関係を明確に把握する。 本稿では,Channel-wise thrEsholding と Selective Sparsification による一般的な活性化スカラー化手法であるCHESSを提案する。 実験の結果,提案したCHESSは,既存の手法よりも少ないパラメータを活性化しながら,8つの下流タスクよりも低い性能劣化を実現することがわかった。
  論文  参考訳（メタデータ） (2024-09-02T16:41:44Z)
• A Method on Searching Better Activation Functions [15.180864683908878]
  深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。 我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
  論文  参考訳（メタデータ） (2024-05-19T03:48:05Z)
• ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
  本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。 スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。 我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
  論文  参考訳（メタデータ） (2024-02-06T08:45:51Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Saturated Non-Monotonic Activation Functions [21.16866749728754]
  SGELU, SSiLU, SMishはGELU, SiLU, Mishの負の部分とReLUの正の部分から構成される。 CIFAR-100における画像分類実験の結果,提案するアクティベーション関数は,複数のディープラーニングアーキテクチャにおいて,高い有効性と,最先端のベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T15:01:06Z)
• A Fair Loss Function for Network Pruning [70.35230425589592]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 CelebA、Fitzpatrick17k、CIFAR-10データセットを用いた実験は、提案手法が単純で効果的なツールであることを実証している。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Stochastic Adaptive Activation Function [1.9199289015460212]
  本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。 実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
  論文  参考訳（メタデータ） (2022-10-21T01:57:25Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Squashing activation functions in benchmark tests: towards eXplainable Artificial Intelligence using continuous-valued logic [0.0]
  この研究は、ニューラルネットワークにおけるスカッシング関数のパフォーマンスを測定する最初のベンチマークテストを示す。 ユーザビリティを調べるために3つの実験を行い、5種類のネットワークに対して最も人気のあるアクティベーション関数との比較を行った。 その結果, 組込み零度論理演算子とスクアッシング関数の微分可能性により, 分類問題を解くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-17T10:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。