論文の概要: Universal Activation Function For Machine Learning

• arxiv url: http://arxiv.org/abs/2011.03842v1
• Date: Sat, 7 Nov 2020 20:13:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 22:08:34.998762
• Title: Universal Activation Function For Machine Learning
• Title（参考訳）: 機械学習のためのユニバーサルアクティベーション関数
• Authors: Brosnan Yuen, Minh Tu Hoang, Xiaodai Dong, and Tao Lu
• Abstract要約: UAF(Universal Activation Function)は、量子化、分類、強化学習問題において、ほぼ最適な性能を達成する。 最適化アルゴリズムは、UAFのパラメータを調整することによって、UAFを適切な活性化関数に進化させることができる。 BipedalWalker-v2 RLデータセットでは、UAFは961 pm 193$ epochsで250の報酬を達成している。
• 参考スコア（独自算出の注目度）: 9.550229670984583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article proposes a Universal Activation Function (UAF) that achieves near optimal performance in quantification, classification, and reinforcement learning (RL) problems. For any given problem, the optimization algorithms are able to evolve the UAF to a suitable activation function by tuning the UAF's parameters. For the CIFAR-10 classification and VGG-8, the UAF converges to the Mish like activation function, which has near optimal performance $F_{1} = 0.9017\pm0.0040$ when compared to other activation functions. For the quantification of simulated 9-gas mixtures in 30 dB signal-to-noise ratio (SNR) environments, the UAF converges to the identity function, which has near optimal root mean square error of $0.4888 \pm 0.0032$ $\mu M$. In the BipedalWalker-v2 RL dataset, the UAF achieves the 250 reward in $961 \pm 193$ epochs, which proves that the UAF converges in the lowest number of epochs. Furthermore, the UAF converges to a new activation function in the BipedalWalker-v2 RL dataset.
• Abstract（参考訳）: 本稿では、量子化、分類、強化学習(RL)問題において、ほぼ最適な性能を達成するユニバーサルアクティベーション関数(UAF)を提案する。 任意の問題に対して、最適化アルゴリズムは、UAFのパラメータをチューニングすることで、UAFを適切なアクティベーション関数に進化させることができる。 CIFAR-10分類とVGG-8では、UAFはMishと同様のアクティベーション関数に収束し、他のアクティベーション関数と比較すると、F_{1} = 0.9017\pm0.0040$である。 30dBの信号-雑音比(SNR)環境における9-ガス混合シミュレーションの定量化のために、UAFは恒等関数に収束し、最大根平均二乗誤差は0.4888 \pm 0.0032$$\mu M$である。 BipedalWalker-v2 RLデータセットでは、UAFは961 \pm 193$ epochsで250の報酬を達成した。 さらに、UAFはBipedalWalker-v2 RLデータセットの新たなアクティベーション関数に収束する。

関連論文リスト

• Alpha Entropy Search for New Information-based Bayesian Optimization [9.749560288448116]
  我々はAlpha Entropy Search (AES)と呼ばれる新しい情報に基づく獲得関数のクラスを導入する。 AESは、KL(Kulback-Leibler)の発散を一般化するα偏差に基づいている。
  論文  参考訳（メタデータ） (2024-11-25T17:19:30Z)
• FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch [21.41322548859776]
  本稿では、FunBOを用いて、コンピュータコードで書かれた新しい取得関数を学習する方法を示す。 本稿では,FunBOが関数のトレーニング分布の内外をよく一般化するAFを特定する方法を示す。
  論文  参考訳（メタデータ） (2024-06-07T10:49:59Z)
• VeCAF: Vision-language Collaborative Active Finetuning with Training Objective Awareness [56.87603097348203]
  VeCAFはラベルと自然言語アノテーションを使用して、PVMの微調整のためのパラメトリックデータ選択を行う。 VeCAFは微調整の目的を取り入れて重要なデータポイントを選択し、PVMをより高速な収束に向けて効果的に導く。 ImageNetでは、VeCAFは最大3.3倍のトレーニングバッチを使用して、完全な微調整に比べて目標のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-01-15T17:28:37Z)
• A Non-monotonic Smooth Activation Function [4.269446061678759]
  活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。 本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。 分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
  論文  参考訳（メタデータ） (2023-10-16T07:09:47Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• Large-scale Optimization of Partial AUC in a Range of False Positive Rates [51.12047280149546]
  ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。 近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。 提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
  論文  参考訳（メタデータ） (2022-03-03T03:46:18Z)
• Submodular + Concave [53.208470310734825]
  第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。 本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。 このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
  論文  参考訳（メタデータ） (2021-06-09T01:59:55Z)
• Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps [66.88729048402082]
  一般化自己一致は、多くの学習問題の目的関数に存在する重要な特性である。 検討対象の領域が一様凸あるいは多面体である場合など,様々な症例に対する収束率の改善を示す。
  論文  参考訳（メタデータ） (2021-05-28T15:26:36Z)
• Stochastic Optimization of Areas Under Precision-Recall Curves with Provable Convergence [66.83161885378192]
  ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。 本稿では,深層学習のためのAUPRCの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T06:22:21Z)
• Developing and Improving Risk Models using Machine-learning Based Algorithms [6.245537312562826]
  本研究の目的は,ビジネスの欠陥を分類する優れたリスクモデルを開発することである。 この解析の理論的根拠は、まず正則化により良質な基底二項分類器を得ることである。 優れたベース分類器上で、バッジやブーストを含む2つのモデルアンサンブルアルゴリズムを実行し、さらなるモデル改善を行う。
  論文  参考訳（メタデータ） (2020-09-09T20:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。