論文の概要: Efficient Activation Function Optimization through Surrogate Modeling
- arxiv url: http://arxiv.org/abs/2301.05785v2
- Date: Mon, 27 Mar 2023 21:35:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 18:49:14.801221
- Title: Efficient Activation Function Optimization through Surrogate Modeling
- Title（参考訳）: サーロゲートモデリングによる効率的な活性化関数最適化
- Authors: Garrett Bingham and Risto Miikkulainen
- Abstract要約: 本稿は,3つのステップによるアートの状況改善を目的としている。
まず、ベンチマークデータセットであるAct-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTが作成された。
第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
第3に、サロゲートは、CIFAR-100およびImageNetタスクの活性化機能の改善を発見するために使用された。
- 参考スコア（独自算出の注目度）: 17.369163074697475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Carefully designed activation functions can improve the performance of neural
networks in many machine learning tasks. However, it is difficult for humans to
construct optimal activation functions, and current activation function search
algorithms are prohibitively expensive. This paper aims to improve the state of
the art through three steps: First, the benchmark datasets Act-Bench-CNN,
Act-Bench-ResNet, and Act-Bench-ViT were created by training convolutional,
residual, and vision transformer architectures from scratch with 2,913
systematically generated activation functions. Second, a characterization of
the benchmark space was developed, leading to a new surrogate-based method for
optimization. More specifically, the spectrum of the Fisher information matrix
associated with the model's predictive distribution at initialization and the
activation function's output distribution were found to be highly predictive of
performance. Third, the surrogate was used to discover improved activation
functions in CIFAR-100 and ImageNet tasks. Each of these steps is a
contribution in its own right; together they serve as a practical and
theoretical foundation for further research on activation function
optimization. Code is available at
https://github.com/cognizant-ai-labs/aquasurf, and the benchmark datasets are
at https://github.com/cognizant-ai-labs/act-bench.
- Abstract（参考訳）: 慎重に設計されたアクティベーション機能は、多くの機械学習タスクにおけるニューラルネットワークのパフォーマンスを改善することができる。
しかし、人間が最適な活性化関数を構築することは困難であり、現在の活性化関数探索アルゴリズムは極めて高価である。
本研究の目的は, コンボリューション, 残留, 視覚トランスフォーマーの訓練により, act-bench-cnn, act-bench-resnet, act-bench-vitのベンチマークデータセットを2,913個の系統的生成アクティベーション関数を用いてスクラッチから作成することである。
第2に,ベンチマーク空間のキャラクタリゼーションが開発され,新たなサロゲートに基づく最適化手法が開発された。
より具体的には、初期化時のモデルの予測分布と活性化関数の出力分布に関連するフィッシャー情報行列のスペクトルは、高い性能予測値であることが判明した。
第3に、surrogateはcifar-100とimagenetタスクのアクティベーション機能を改善するために使用された。
これらのステップはいずれもそれ自体が貢献しており、アクティベーション関数の最適化に関するさらなる研究のための実践的で理論的な基礎となっている。
コードはhttps://github.com/cognizant-ai-labs/aquasurfで利用可能であり、ベンチマークデータセットはhttps://github.com/cognizant-ai-labs/act-benchにある。
関連論文リスト
- Adaptive Activation Functions for Predictive Modeling with Sparse
Experimental Data [2.012425476229879]
本研究では,適応的あるいは訓練可能なアクティベーション関数が,限られたデータ可用性を特徴とする設定における分類精度と予測不確実性に与える影響について検討した。
本研究は,個別の訓練可能なパラメータを持つ指数線形ユニット(ELU)やソフトプラスなどの適応活性化関数が正確かつ確実な予測モデルをもたらすことを示す。
論文 参考訳（メタデータ） (2024-02-08T04:35:09Z) - ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse
LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。
スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。
我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文 参考訳（メタデータ） (2024-02-06T08:45:51Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Bayesian optimization for sparse neural networks with trainable
activation functions [0.0]
パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。
モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
論文 参考訳（メタデータ） (2023-04-10T08:44:44Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。
標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
論文 参考訳（メタデータ） (2022-03-19T15:05:09Z) - Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。
これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
論文 参考訳（メタデータ） (2021-05-30T20:08:20Z) - Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。
CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文 参考訳（メタデータ） (2020-06-05T00:25:33Z) - Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。
ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。
これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文 参考訳（メタデータ） (2020-02-17T19:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。