論文の概要: Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais
- arxiv url: http://arxiv.org/abs/2107.14370v1
- Date: Thu, 29 Jul 2021 23:32:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-02 12:58:47.143503
- Title: Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais
- Title（参考訳）: テンポラリスの経時的変化に就て
- Authors: Gecynalda Gomes, Teresa Ludermir
- Abstract要約: 本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。
定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Networks have been applied for time series prediction with good
experimental results that indicate the high capacity to approximate functions
with good precision. Most neural models used in these applications use
activation functions with fixed parameters. However, it is known that the
choice of activation function strongly influences the complexity and
performance of the neural network and that a limited number of activation
functions have been used. In this work, we propose the use of a family of free
parameter asymmetric activation functions for neural networks and show that
this family of defined activation functions satisfies the requirements of the
universal approximation theorem. A methodology for the global optimization of
this family of activation functions with free parameter and the weights of the
connections between the processing units of the neural network is used. The
central idea of the proposed methodology is to simultaneously optimize the
weights and the activation function used in a multilayer perceptron network
(MLP), through an approach that combines the advantages of simulated annealing,
tabu search and a local learning algorithm, with the purpose of improving
performance in the adjustment and forecasting of time series. We chose two
learning algorithms: backpropagation with the term momentum (BPM) and
LevenbergMarquardt (LM).
- Abstract（参考訳）: ニューラルネットワークは、精度良く近似関数に高い容量を示す実験結果が得られた時系列予測に応用されている。
これらのアプリケーションで使用されるほとんどのニューラルモデルは、固定パラメータを持つアクティベーション関数を使用する。
しかし、アクティベーション関数の選択はニューラルネットワークの複雑さと性能に大きく影響し、限られた数のアクティベーション関数が使用されていることが知られている。
本研究では,ニューラルネットワークに対する自由パラメータ非対称アクティベーション関数の族の利用を提案し,定義されたアクティベーション関数の族が普遍近似定理の要件を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けを自由パラメータで行うことにより,この活性化関数群を大域的に最適化する手法を用いる。
提案手法の中心となる考え方は,マルチ層パーセプトロンネットワーク(MLP)における重みとアクティベーション関数を同時に最適化することであり,シミュレーションアニーリング,タブ探索,局所学習アルゴリズムの利点と,時系列の調整および予測における性能の向上を両立させるアプローチである。
私たちは、momentum(bpm)とlevenbergmarquardt(lm)という2つの学習アルゴリズムを選択しました。
関連論文リスト
- The limitation of neural nets for approximation and optimization [0.0]
最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
論文 参考訳（メタデータ） (2023-11-21T00:21:15Z) - Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。
実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
論文 参考訳（メタデータ） (2023-11-05T12:03:58Z) - ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。
このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。
ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文 参考訳（メタデータ） (2023-07-02T21:46:30Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Bayesian optimization for sparse neural networks with trainable
activation functions [0.0]
パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。
モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
論文 参考訳（メタデータ） (2023-04-10T08:44:44Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Consensus Function from an $L_p^q-$norm Regularization Term for its Use
as Adaptive Activation Functions in Neural Networks [0.0]
本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。
この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。
予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
論文 参考訳（メタデータ） (2022-06-30T04:48:14Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - Data-Driven Learning of Feedforward Neural Networks with Different
Activation Functions [0.0]
この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
論文 参考訳（メタデータ） (2021-07-04T18:20:27Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。