論文の概要: Bayesian optimization for sparse neural networks with trainable activation functions

• arxiv url: http://arxiv.org/abs/2304.04455v2
• Date: Wed, 19 Apr 2023 12:44:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 16:41:55.250135
• Title: Bayesian optimization for sparse neural networks with trainable activation functions
• Title（参考訳）: 訓練可能なアクティベーション機能を有するスパースニューラルネットワークのベイズ最適化
• Authors: Mohamed Fakhfakh and Lotfi Chaari
• Abstract要約: パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。 モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the literature on deep neural networks, there is considerable interest in developing activation functions that can enhance neural network performance. In recent years, there has been renewed scientific interest in proposing activation functions that can be trained throughout the learning process, as they appear to improve network performance, especially by reducing overfitting. In this paper, we propose a trainable activation function whose parameters need to be estimated. A fully Bayesian model is developed to automatically estimate from the learning data both the model weights and activation function parameters. An MCMC-based optimization scheme is developed to build the inference. The proposed method aims to solve the aforementioned problems and improve convergence time by using an efficient sampling scheme that guarantees convergence to the global maximum. The proposed scheme is tested on three datasets with three different CNNs. Promising results demonstrate the usefulness of our proposed approach in improving model accuracy due to the proposed activation function and Bayesian estimation of the parameters.
• Abstract（参考訳）: ディープニューラルネットワークに関する文献では、ニューラルネットワークの性能を向上させる活性化関数の開発にかなりの関心がある。 近年,ネットワーク性能の向上を図り,特に過度な適合を減らし,学習過程を通じてトレーニング可能な活性化関数の提案に,新たな科学的関心が寄せられている。 本稿では,パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。 モデル重みと活性化関数パラメータの両方から学習データを自動的に推定する完全ベイズモデルを開発した。 MCMCに基づく最適化手法が提案されている。 提案手法は,グローバルな最大値への収束を保証する効率的なサンプリング手法を用いて,上記の問題を解決すること,収束時間を改善することを目的とする。 提案手法は3つの異なるCNNを持つ3つのデータセットで検証される。 提案手法は,活性化関数によるモデル精度の向上とパラメータのベイズ推定に有用であることを示す。

関連論文リスト

• Adaptive Activation Functions for Predictive Modeling with Sparse Experimental Data [2.012425476229879]
  本研究では,適応的あるいは訓練可能なアクティベーション関数が,限られたデータ可用性を特徴とする設定における分類精度と予測不確実性に与える影響について検討した。 本研究は,個別の訓練可能なパラメータを持つ指数線形ユニット(ELU)やソフトプラスなどの適応活性化関数が正確かつ確実な予測モデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2024-02-08T04:35:09Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Improving Neural Additive Models with Bayesian Principles [54.29602161803093]
  ニューラル加算モデル(NAM)は、個別の加算サブネットワークでキャリブレーションされた入力特徴を扱うことにより、ディープニューラルネットワークの透明性を高める。 本研究では,Laplace-approximated NAM (LA-NAMs) を開発した。
  論文  参考訳（メタデータ） (2023-05-26T13:19:15Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
  本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。 まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。 第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
  論文  参考訳（メタデータ） (2023-01-13T23:11:14Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Adaptively Customizing Activation Functions for Various Layers [10.522556291990437]
  本研究では、Sigmoid、Tanh、ReLUといった従来のアクティベーション関数にごく少数のパラメータを追加するだけで、アクティベーション関数を適応的にカスタマイズする新しい手法を提案する。 提案手法の有効性を検証するため, 収束の促進と性能向上に関する理論的, 実験的検討を行った。 その結果、提案手法は非常に単純であるが、収束速度、精度、一般化において大きな性能を有しており、ReLUやSwishのような適応関数といった他の一般的な手法を、全体的な性能の観点からほぼ全ての実験で上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-17T11:23:03Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。