論文の概要: Adaptive Parametric Activation

• arxiv url: http://arxiv.org/abs/2407.08567v2
• Date: Wed, 9 Oct 2024 09:46:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 22:17:54.896549
• Title: Adaptive Parametric Activation
• Title（参考訳）: 適応パラメトリック活性化
• Authors: Konstantinos Panagiotis Alexandridis, Jiankang Deng, Anh Nguyen, Shan Luo,
• Abstract要約: 本研究では,アクティベーション関数をデータ分布に整合させることにより,バランスの取れたタスクと不均衡なタスクの両方のパフォーマンスを向上させることを示す。 適応パラメトリック活性化関数(Adaptive Parametric Activation function)を提案する。 APAは中間層とアテンション層の両方に適用でき、いくつかの不均衡なベンチマークで最先端を著しく上回っている。
• 参考スコア（独自算出の注目度）: 29.177645094447815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The activation function plays a crucial role in model optimisation, yet the optimal choice remains unclear. For example, the Sigmoid activation is the de-facto activation in balanced classification tasks, however, in imbalanced classification, it proves inappropriate due to bias towards frequent classes. In this work, we delve deeper in this phenomenon by performing a comprehensive statistical analysis in the classification and intermediate layers of both balanced and imbalanced networks and we empirically show that aligning the activation function with the data distribution, enhances the performance in both balanced and imbalanced tasks. To this end, we propose the Adaptive Parametric Activation (APA) function, a novel and versatile activation function that unifies most common activation functions under a single formula. APA can be applied in both intermediate layers and attention layers, significantly outperforming the state-of-the-art on several imbalanced benchmarks such as ImageNet-LT, iNaturalist2018, Places-LT, CIFAR100-LT and LVIS and balanced benchmarks such as ImageNet1K, COCO and V3DET. The code is available at https://github.com/kostas1515/AGLU.
• Abstract（参考訳）: アクティベーション関数はモデル最適化において重要な役割を果たすが、最適選択は依然として不明である。 例えば、シグモイドの活性化は、バランスの取れた分類タスクにおけるデファクトの活性化であるが、不均衡な分類では、頻繁なクラスに対する偏見によって不適切であることが証明される。 本研究では,バランスの取れたネットワークと不均衡なネットワークの両方の分類層と中間層を包括的に統計解析することにより,この現象を深く掘り下げるとともに,アクティベーション関数とデータ分布の整合性を実証的に示し,バランスの取れたタスクと不均衡なタスクの両方のパフォーマンスを向上させる。 そこで本研究では,APA(Adaptive Parametric Activation)関数を提案する。 APAは中間層と注目層の両方に適用でき、ImageNet-LT、iNaturalist2018、Places-LT、CIFAR100-LT、LVIS、ImageNet1K、COCO、V3DETのようなバランスのとれたベンチマークにおいて、最先端のベンチマークを著しく上回っている。 コードはhttps://github.com/kostas1515/AGLUで公開されている。

関連論文リスト

• Activation Function Optimization Scheme for Image Classification [20.531966402727708]
  活性化関数は、ディープニューラルネットワークの力学、収束、性能に大きな影響を及ぼす。 本稿では,画像分類タスクに特化してアクティベーション関数を最適化するための進化的アプローチを提案する。 我々は、指数誤差線形ユニット(EELU)と呼ばれる一連の高パフォーマンス活性化関数を得る。
  論文  参考訳（メタデータ） (2024-09-07T21:40:15Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Class-Imbalanced Graph Learning without Class Rebalancing [62.1368829847041]
  クラス不均衡は実世界のノード分類タスクでよく見られ、グラフ学習モデルには大きな課題がある。 本研究では、トポロジカルパラダイムからクラス不均衡バイアスの根本原因にアプローチする。 我々は,クラス再バランスを伴わずにクラス不均衡バイアスを軽減するために,軽量なトポロジカル拡張フレームワークであるBATを考案した。
  論文  参考訳（メタデータ） (2023-08-27T19:01:29Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Your representations are in the network: composable and parallel adaptation for large scale models [90.26965623489157]
  InCAは、事前訓練されたモデルの任意のアクティベーション層にクロスタッチするトランスファー学習の軽量な方法である。 InCAは,1つのトップスコーリングアダプタを選択しても,フル微調整に匹敵する性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:12:24Z)
• Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
  本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。 まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。 第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
  論文  参考訳（メタデータ） (2023-01-13T23:11:14Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• ANAct: Adaptive Normalization for Activation Functions [4.914574267850376]
  活性化関数がニューラルネットワークの前方および後方伝播にどのように影響するかを示す。 本稿では,階層間の一貫した勾配分散を維持するために,アクティベーション関数の正規化を行うANActを提案する。
  論文  参考訳（メタデータ） (2022-08-29T00:17:32Z)
• Adaptively Customizing Activation Functions for Various Layers [10.522556291990437]
  本研究では、Sigmoid、Tanh、ReLUといった従来のアクティベーション関数にごく少数のパラメータを追加するだけで、アクティベーション関数を適応的にカスタマイズする新しい手法を提案する。 提案手法の有効性を検証するため, 収束の促進と性能向上に関する理論的, 実験的検討を行った。 その結果、提案手法は非常に単純であるが、収束速度、精度、一般化において大きな性能を有しており、ReLUやSwishのような適応関数といった他の一般的な手法を、全体的な性能の観点からほぼ全ての実験で上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-17T11:23:03Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。