論文の概要: Adaptive Activation Functions for Predictive Modeling with Sparse Experimental Data

• arxiv url: http://arxiv.org/abs/2402.05401v1
• Date: Thu, 8 Feb 2024 04:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 16:33:13.053074
• Title: Adaptive Activation Functions for Predictive Modeling with Sparse Experimental Data
• Title（参考訳）: スパース実験データを用いた予測モデルのための適応活性化関数
• Authors: Farhad Pourkamali-Anaraki, Tahamina Nasrin, Robert E. Jensen, Amy M. Peterson, Christopher J. Hansen
• Abstract要約: 本研究では,適応的あるいは訓練可能なアクティベーション関数が,限られたデータ可用性を特徴とする設定における分類精度と予測不確実性に与える影響について検討した。 本研究は,個別の訓練可能なパラメータを持つ指数線形ユニット(ELU)やソフトプラスなどの適応活性化関数が正確かつ確実な予測モデルをもたらすことを示す。
• 参考スコア（独自算出の注目度）: 2.012425476229879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A pivotal aspect in the design of neural networks lies in selecting activation functions, crucial for introducing nonlinear structures that capture intricate input-output patterns. While the effectiveness of adaptive or trainable activation functions has been studied in domains with ample data, like image classification problems, significant gaps persist in understanding their influence on classification accuracy and predictive uncertainty in settings characterized by limited data availability. This research aims to address these gaps by investigating the use of two types of adaptive activation functions. These functions incorporate shared and individual trainable parameters per hidden layer and are examined in three testbeds derived from additive manufacturing problems containing fewer than one hundred training instances. Our investigation reveals that adaptive activation functions, such as Exponential Linear Unit (ELU) and Softplus, with individual trainable parameters, result in accurate and confident prediction models that outperform fixed-shape activation functions and the less flexible method of using identical trainable activation functions in a hidden layer. Therefore, this work presents an elegant way of facilitating the design of adaptive neural networks in scientific and engineering problems.
• Abstract（参考訳）: ニューラルネットワークの設計における重要な側面は、アクティベーション関数の選択であり、複雑な入出力パターンをキャプチャする非線形構造の導入に不可欠である。 適応的あるいは訓練可能なアクティベーション関数の有効性は、画像分類問題のような十分なデータを持つ領域で研究されているが、データ可用性に制限のある設定における分類精度と予測の不確実性に対する影響を理解する上で、大きなギャップが持続している。 本研究は,2種類の適応的アクティベーション関数を用いて,これらのギャップに対処することを目的とする。 これらの関数は、隠蔽層毎の共有および個別のトレーニング可能なパラメータを含み、100個未満のトレーニングインスタンスを含む添加性製造問題から導かれる3つのテストベッドで検証される。 本研究では,個別に学習可能なパラメータを持つ指数線形単位 (elu) や softplus などの適応的活性化関数が,固定型活性化関数を上回る正確で自信のある予測モデルと,同一の学習可能な活性化関数を隠れた層で使用する柔軟性の低い手法をもたらすことを示す。 そこで本研究では,適応型ニューラルネットワークの設計を容易にするエレガントな手法を提案する。

関連論文リスト

• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Bayesian optimization for sparse neural networks with trainable activation functions [0.0]
  パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。 モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
  論文  参考訳（メタデータ） (2023-04-10T08:44:44Z)
• Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
  本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。 まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。 第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
  論文  参考訳（メタデータ） (2023-01-13T23:11:14Z)
• Stochastic Adaptive Activation Function [1.9199289015460212]
  本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。 実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
  論文  参考訳（メタデータ） (2022-10-21T01:57:25Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Squashing activation functions in benchmark tests: towards eXplainable Artificial Intelligence using continuous-valued logic [0.0]
  この研究は、ニューラルネットワークにおけるスカッシング関数のパフォーマンスを測定する最初のベンチマークテストを示す。 ユーザビリティを調べるために3つの実験を行い、5種類のネットワークに対して最も人気のあるアクティベーション関数との比較を行った。 その結果, 組込み零度論理演算子とスクアッシング関数の微分可能性により, 分類問題を解くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-17T10:42:40Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。