論文の概要: Tuning the activation function to optimize the forecast horizon of a reservoir computer

• arxiv url: http://arxiv.org/abs/2312.13151v1
• Date: Wed, 20 Dec 2023 16:16:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 14:51:59.535929
• Title: Tuning the activation function to optimize the forecast horizon of a reservoir computer
• Title（参考訳）: 貯留層コンピュータの予測地平を最適化するための活性化関数のチューニング
• Authors: Lauren A. Hurley, Juan G. Restrepo, Sean E. Shaheen
• Abstract要約: 本稿では,ノード活性化関数が貯水池コンピュータのカオス時系列の学習と予測能力に与える影響について検討する。 貯水池の予測が正確である時間であるフォアキャスト・ホライゾン(FH)は、16の活性化関数の集合で桁違いに変化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reservoir computing is a machine learning framework where the readouts from a nonlinear system (the reservoir) are trained so that the output from the reservoir, when forced with an input signal, reproduces a desired output signal. A common implementation of reservoir computers is to use a recurrent neural network as the reservoir. The design of this network can have significant effects on the performance of the reservoir computer. In this paper we study the effect of the node activation function on the ability of reservoir computers to learn and predict chaotic time series. We find that the Forecast Horizon (FH), the time during which the reservoir's predictions remain accurate, can vary by an order of magnitude across a set of 16 activation functions used in machine learning. By using different functions from this set, and by modifying their parameters, we explore whether the entropy of node activation levels or the curvature of the activation functions determine the predictive ability of the reservoirs. We find that the FH is low when the activation function is used in a region where it has low curvature, and a positive correlation between curvature and FH. For the activation functions studied we find that the largest FH generally occurs at intermediate levels of the entropy of node activation levels. Our results show that the performance of reservoir computers is very sensitive to the activation function shape. Therefore, modifying this shape in hyperparameter optimization algorithms can lead to improvements in reservoir computer performance.
• Abstract（参考訳）: 貯水池計算(Reservoir computing)は、非線形システム(貯水池)からの読み出しを学習し、貯水池からの出力が入力信号で強制されると、所望の出力信号を再生する機械学習フレームワークである。 貯水池コンピュータの一般的な実装は、リカレントニューラルネットワークを貯水池として使用することである。 このネットワークの設計は貯水池コンピュータの性能に大きな影響を与える可能性がある。 本稿では,ノード活性化関数が貯水池コンピュータのカオス時系列の学習と予測能力に及ぼす影響について検討する。 我々は,貯水池の予測が正確である時間であるフォアキャスト・ホライゾン(FH)が,機械学習で使用される16のアクティベーション関数の集合において,桁違いに変化することを発見した。 このセットから異なる関数を使い、それらのパラメータを変更することで、ノードの活性化レベルのエントロピーと活性化関数の曲率が貯水池の予測能力を決定するかどうかを調べる。 その結果, 活性化関数が低曲率領域で使用される場合のFHは低く, 曲率とFHとの正の相関が認められた。 研究された活性化関数について、最も大きなFHは一般にノード活性化レベルのエントロピーの中間レベルに発生する。 その結果,リザーバコンピュータの性能は活性化関数形状に非常に敏感であることがわかった。 したがって、この形状をハイパーパラメータ最適化アルゴリズムで修正することで、貯水池コンピュータの性能が向上する可能性がある。

関連論文リスト

• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Optimization of a Hydrodynamic Computational Reservoir through Evolution [58.720142291102135]
  我々は,スタートアップが開発中の流体力学系のモデルと,計算貯水池としてインターフェースする。 我々は、進化探索アルゴリズムを用いて、読み出し時間と入力を波の振幅や周波数にどのようにマッピングするかを最適化した。 この貯水池システムに進化的手法を適用することで、手作業パラメータを用いた実装と比較して、XNORタスクの分離性が大幅に向上した。
  論文  参考訳（メタデータ） (2023-04-20T19:15:02Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Time-shift selection for reservoir computing using a rank-revealing QR algorithm [0.0]
  そこで本研究では, 位置対応QRアルゴリズムを用いて, 貯水池行列のランクを最大化することにより, 時間シフトを選択する手法を提案する。 提案手法は, 基本的にすべての場合において, ランダムな時間シフト選択よりも精度が向上することがわかった。
  論文  参考訳（メタデータ） (2022-11-29T14:55:51Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• Estimating Multiplicative Relations in Neural Networks [0.0]
  対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。 いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
  論文  参考訳（メタデータ） (2020-10-28T14:28:24Z)
• Space of Functions Computed by Deep-Layered Machines [74.13735716675987]
  深層ニューラルネットワークやブール回路を含むランダム層マシンによって計算される関数の空間について検討する。 繰り返しおよび層依存アーキテクチャ上で計算されたブール関数の分布を調べた結果、両方のモデルで同じであることが判明した。
  論文  参考訳（メタデータ） (2020-04-19T18:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。