論文の概要: CombU: A Combined Unit Activation for Fitting Mathematical Expressions with Neural Networks
- arxiv url: http://arxiv.org/abs/2409.17021v1
- Date: Wed, 25 Sep 2024 15:26:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 03:04:59.736251
- Title: CombU: A Combined Unit Activation for Fitting Mathematical Expressions with Neural Networks
- Title（参考訳）: CombU: ニューラルネットワークによる数式調整のための複合ユニットアクティベーション
- Authors: Jiayu Li, Zilong Zhao, Kevin Yee, Uzair Javaid, Biplab Sikdar,
- Abstract要約: 異なる層にまたがる様々な次元で異なるアクティベーション機能を利用するCombU(CombU)を導入する。
このアプローチは理論上、ほとんどの数学的表現を正確に適合させることが証明できる。
6つのState-Of-The-Art(SOTA)アクティベーション関数アルゴリズムと比較して、4つの数学的表現データセットで実施された実験は、CombUが16の指標のうち10のSOTAアルゴリズムより優れていることを示した。
- 参考スコア（独自算出の注目度）: 13.612237747184363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The activation functions are fundamental to neural networks as they introduce non-linearity into data relationships, thereby enabling deep networks to approximate complex data relations. Existing efforts to enhance neural network performance have predominantly focused on developing new mathematical functions. However, we find that a well-designed combination of existing activation functions within a neural network can also achieve this objective. In this paper, we introduce the Combined Units activation (CombU), which employs different activation functions at various dimensions across different layers. This approach can be theoretically proven to fit most mathematical expressions accurately. The experiments conducted on four mathematical expression datasets, compared against six State-Of-The-Art (SOTA) activation function algorithms, demonstrate that CombU outperforms all SOTA algorithms in 10 out of 16 metrics and ranks in the top three for the remaining six metrics.
- Abstract（参考訳）: 活性化関数は、データ関係に非線形性を導入し、ディープネットワークが複雑なデータ関係を近似できるようにするため、ニューラルネットワークの基本となる。
既存のニューラルネットワークの性能向上努力は、主に新しい数学的機能の開発に重点を置いている。
しかし、ニューラルネットワーク内の既存のアクティベーション関数のよく設計された組み合わせもまた、この目的を達成することができる。
本稿では,異なる層にまたがる様々な次元で異なるアクティベーション機能を利用するCombU(CombU)について紹介する。
このアプローチは理論上、ほとんどの数学的表現を正確に適合させることが証明できる。
6つのState-Of-The-Art(SOTA)アクティベーション関数アルゴリズムと比較して、4つの数学的表現データセットで実施された実験は、CombUが16の指標のうち10で全てのSOTAアルゴリズムを上回り、残りの6つの指標で上位3位になっていることを示した。
関連論文リスト
- Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-10T16:27:12Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Unification of popular artificial neural network activation functions [0.0]
本稿では,最も一般的なニューラルネットワーク活性化関数の統一表現について述べる。
分数計算のMittag-Leffler関数を採用することにより、フレキシブルでコンパクトな関数形式を提案する。
論文 参考訳（メタデータ） (2023-02-21T21:20:59Z) - Sparse Interaction Additive Networks via Feature Interaction Detection
and Sparse Selection [10.191597755296163]
我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。
提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
論文 参考訳（メタデータ） (2022-09-19T19:57:17Z) - Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。
定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文 参考訳（メタデータ） (2021-07-29T23:32:15Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - Data-Driven Learning of Feedforward Neural Networks with Different
Activation Functions [0.0]
この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
論文 参考訳（メタデータ） (2021-07-04T18:20:27Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Activation functions are not needed: the ratio net [3.9636371287541086]
本稿では,新しい関数近似器の設計に焦点をあてる。
新しいアクティベーション関数やカーネル関数を設計する代わりに、新しい提案されたネットワークは分数形式を使用する。
その結果、ほとんどの場合、比率ネットはより速く収束し、分類とRBFの両方を上回っていることがわかった。
論文 参考訳（メタデータ） (2020-05-14T01:07:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。