Fugu-MT 論文翻訳(概要): Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions

論文の概要: Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions

arxiv url: http://arxiv.org/abs/2107.01702v2
Date: Tue, 6 Jul 2021 07:33:13 GMT
ステータス: 処理完了
システム内更新日: 2021-07-08 09:53:47.547870
Title: Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions
Title（参考訳）: 活性化関数の異なるフィードフォワードニューラルネットワークのデータ駆動学習
Authors: Grzegorz Dudek
Abstract要約: この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This work contributes to the development of a new data-driven method (D-DM) of feedforward neural networks (FNNs) learning. This method was proposed recently as a way of improving randomized learning of FNNs by adjusting the network parameters to the target function fluctuations. The method employs logistic sigmoid activation functions for hidden nodes. In this study, we introduce other activation functions, such as bipolar sigmoid, sine function, saturating linear functions, reLU, and softplus. We derive formulas for their parameters, i.e. weights and biases. In the simulation study, we evaluate the performance of FNN data-driven learning with different activation functions. The results indicate that the sigmoid activation functions perform much better than others in the approximation of complex, fluctuated target functions.
Abstract（参考訳）: この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。近年,ネットワークパラメータを対象関数の変動に調整することにより,FNNのランダム化学習を改善する手法として提案されている。この方法は隠れノードに対してロジスティックシグモイド活性化関数を用いる。本研究では,双極性シグミド,正弦関数,飽和線形関数,reLU,ソフトプラスなどの他の活性化関数を紹介する。我々はそれらのパラメータ、すなわち、公式を導出する。重みとバイアス。本研究では,FNNデータ駆動学習の性能を,異なるアクティベーション関数で評価する。その結果,シグモイド活性化関数は複雑な変動対象関数の近似において,他の関数よりも優れていた。

関連論文リスト

ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文参考訳（メタデータ） (2023-07-02T21:46:30Z)
Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文参考訳（メタデータ） (2023-01-21T04:08:46Z)
Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
論文参考訳（メタデータ） (2022-10-20T06:00:45Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文参考訳（メタデータ） (2022-02-13T10:54:59Z)
Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文参考訳（メタデータ） (2021-07-29T23:32:15Z)
Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文参考訳（メタデータ） (2021-07-14T03:03:56Z)
Non-linear Functional Modeling using Neural Networks [6.624726878647541]
ニューラルネットワークに基づく関数型データのための非線形モデルの新たなクラスを導入する。提案するフレームワークには,連続的な隠蔽層を持つ関数型ニューラルネットワークと,ベース拡張と連続隠蔽層を利用する第2バージョンという,2つのバリエーションがある。
論文参考訳（メタデータ） (2021-04-19T14:59:55Z)
Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文参考訳（メタデータ） (2020-10-28T14:28:24Z)
UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文参考訳（メタデータ） (2020-07-28T09:31:56Z)
Trainable Activation Function in Image Classification [0.0]
本稿では、ディープニューラルネットワークにおいてアクティベーション機能をトレーニング可能にする方法について論じる。アクティベーション関数を連続的に変動させる異なるアクティベーション関数の直列結合と線形結合を用いる。
論文参考訳（メタデータ） (2020-04-28T03:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。