Fugu-MT 論文翻訳(概要): Nonlinearity Enhanced Adaptive Activation Function

論文の概要: Nonlinearity Enhanced Adaptive Activation Function

arxiv url: http://arxiv.org/abs/2403.19896v1
Date: Fri, 29 Mar 2024 00:33:37 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 16:54:17.838315
Title: Nonlinearity Enhanced Adaptive Activation Function
Title（参考訳）: 非線形強化適応活性化関数
Authors: David Yevick,
Abstract要約: 十分な計算資源を必要とせず、ニューラルネットワークの精度を高めるような、立方次非線形性さえも持つ活性化関数が導入された。関連する精度向上を、MNIST桁データセットのコンテキストで定量化する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A simply implemented activation function with even cubic nonlinearity is introduced that increases the accuracy of neural networks without substantial additional computational resources. This is partially enabled through an apparent tradeoff between convergence and accuracy. The activation function generalizes the standard RELU function by introducing additional degrees of freedom through optimizable parameters that enable the degree of nonlinearity to be adjusted. The associated accuracy enhancement is quantified in the context of the MNIST digit data set through a comparison with standard techniques.
Abstract（参考訳）: 十分な計算資源を必要とせず、ニューラルネットワークの精度を高めるために、立方次非線形性さえも実装された単純なアクティベーション関数が導入された。これは収束と精度の間の明らかなトレードオフによって部分的に実現される。アクティベーション関数は、非線形性の度合いを調整できる最適化可能なパラメータによって、追加の自由度を導入することで標準RELU関数を一般化する。関連する精度向上は、標準手法との比較を通じて、MNIST桁データセットの文脈で定量化される。

関連論文リスト

Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文参考訳（メタデータ） (2023-12-28T17:50:56Z)
Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
論文参考訳（メタデータ） (2023-10-02T17:42:01Z)
Optimal Nonlinearities Improve Generalization Performance of Random Features [0.9790236766474201]
非線形活性化関数を持つランダム特徴モデルは、訓練および一般化誤差の観点からガウスモデルと実演的に等価であることが示されている。ガウスモデルから取得したパラメータが最適非線形性の集合を定義できることを示す。最適化された非線形性はReLUのような広く使われている非線形関数よりも優れた一般化性能が得られることを示す。
論文参考訳（メタデータ） (2023-09-28T20:55:21Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
論文参考訳（メタデータ） (2023-04-10T08:10:11Z)
MP-GELU Bayesian Neural Networks: Moment Propagation by GELU Nonlinearity [0.0]
本稿では,BNNにおける第1モーメントと第2モーメントの高速な導出を可能にする,モーメント伝搬・ガウス誤差線形単位(MP-GELU)という非線形関数を提案する。 MP-GELUは、ReLUベースのBNNよりも高速な実行で予測精度が高く、不確実性の品質も向上する。
論文参考訳（メタデータ） (2022-11-24T03:37:29Z)
Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文参考訳（メタデータ） (2022-03-22T13:09:17Z)
Nonlinear Level Set Learning for Function Approximation on Sparse Data with Applications to Parametric Differential Equations [6.184270985214254]
NLL(Nonlinear Level Set Learning)アプローチは、疎にサンプリングされた関数のポイントワイズ予測のために提示される。提案アルゴリズムは, 精度の低い理論的下界への入力次元を効果的に低減する。この修正されたNLLとオリジナルのNLLとActive Subspaces(AS)メソッドを比較する実験とアプリケーションを提示する。
論文参考訳（メタデータ） (2021-04-29T01:54:05Z)
LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文参考訳（メタデータ） (2020-12-21T06:40:20Z)
Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。暗黙正則化現象の理論的保証を提供する。
論文参考訳（メタデータ） (2020-07-16T13:27:47Z)
Soft-Root-Sign Activation Function [21.716884634290516]
SRS(Soft-Root-Sign)は滑らかで、非単調で有界である。 ReLUとは対照的に、SRSは独立したトレーニング可能なパラメータのペアによって出力を適応的に調整することができる。我々のSRSはReLUや他の最先端の非線形性と一致または超えます。
論文参考訳（メタデータ） (2020-03-01T18:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。