論文の概要: Hyperparameter Tuning in Echo State Networks

• arxiv url: http://arxiv.org/abs/2207.07976v1
• Date: Sat, 16 Jul 2022 16:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 15:17:50.067589
• Title: Hyperparameter Tuning in Echo State Networks
• Title（参考訳）: Echo状態ネットワークにおけるハイパーパラメータチューニング
• Authors: Filip Matzner
• Abstract要約: Echo State Networksは、リカレントニューラルネットワークの一種で、大きなランダムに生成された貯水池と、線形回帰によってトレーニングされた少数のリードアウト接続を備えている。 共分散行列適応進化戦略(CMA-ES)に基づくハイパーパラメータチューニングの代替手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Echo State Networks represent a type of recurrent neural network with a large randomly generated reservoir and a small number of readout connections trained via linear regression. The most common topology of the reservoir is a fully connected network of up to thousands of neurons. Over the years, researchers have introduced a variety of alternative reservoir topologies, such as a circular network or a linear path of connections. When comparing the performance of different topologies or other architectural changes, it is necessary to tune the hyperparameters for each of the topologies separately since their properties may significantly differ. The hyperparameter tuning is usually carried out manually by selecting the best performing set of parameters from a sparse grid of predefined combinations. Unfortunately, this approach may lead to underperforming configurations, especially for sensitive topologies. We propose an alternative approach of hyperparameter tuning based on the Covariance Matrix Adaptation Evolution Strategy (CMA-ES). Using this approach, we have improved multiple topology comparison results by orders of magnitude suggesting that topology alone does not play as important role as properly tuned hyperparameters.
• Abstract（参考訳）: エコー状態ネットワークは、大きなランダムに生成された貯水池と、線形回帰によって訓練された少数の読み取り接続を持つ、リカレントニューラルネットワークの一種を表している。 貯水池の最も一般的なトポロジーは、最大数千のニューロンからなる完全に接続されたネットワークである。 長年にわたり、研究者たちは円形のネットワークや接続の線形経路など、様々な代替の貯水池トポロジーを導入した。 異なるトポロジや他のアーキテクチャ変更のパフォーマンスを比較する際には、それぞれのトポロジの特性が著しく異なる可能性があるため、それぞれのトポロジのハイパーパラメータを個別に調整する必要がある。 ハイパーパラメータチューニングは通常、事前定義された組み合わせのスパースグリッドから最適なパラメータセットを選択することで手動で実行される。 残念ながら、このアプローチは、特にセンシティブなトポロジにおいて、低パフォーマンスな構成をもたらす可能性がある。 本稿では,CMA-ES(Covariance Matrix Adaptation Evolution Strategy)に基づくハイパーパラメータチューニング手法を提案する。 この手法を用いて,複数のトポロジーの比較結果を桁違いに改善し,トポロジーだけでは適切に調整されたハイパーパラメーターほど重要な役割を果たさないことを示唆した。

関連論文リスト

• Optimal Recurrent Network Topologies for Dynamical Systems Reconstruction [5.498605900447094]
  時系列測定から基礎となる動的過程の生成モデルを推定することを模索する。 ここでの一般的な戦略はパラメータのプルーニングであり、すべてのパラメータを小さな重みで除去する。 幾何プルーニングとは対照的に,アトラクタの幾何構造への寄与度の低いプルーニング重みを除去し,パラメータの負荷を大幅に低減できることを示す。
  論文  参考訳（メタデータ） (2024-06-07T13:41:17Z)
• Structurally Flexible Neural Networks: Evolving the Building Blocks for General Agents [7.479827648985631]
  我々は、対称性ジレンマの緩和を可能にする、異なるニューロン型とシナプス型のセットを最適化することが可能であることを示す。 一つのニューロンとシナプスの集合を最適化して、複数の強化学習制御タスクを同時に解くことで、これを実証する。
  論文  参考訳（メタデータ） (2024-04-06T14:04:14Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Lightweight Convolutional Neural Networks By Hypercomplex Parameterization [10.420215908252425]
  超複素畳み込み層のパラメータ化を定義し、軽量で効率的な大規模畳み込みモデルを開発する。 提案手法は,データから直接,畳み込みルールとフィルタ組織を把握している。 様々な画像データセットとオーディオデータセットで実験を行うことにより、このアプローチの複数のドメインに対する汎用性を実証する。
  論文  参考訳（メタデータ） (2021-10-08T14:57:19Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• A Study of Genetic Algorithms for Hyperparameter Optimization of Neural Networks in Machine Translation [0.0]
  遺伝的アルゴリズムを用いて,ダーウィンのファイトテスト理論の生存をモデルとした自動チューニング手法を提案する。 研究結果は,提案手法であるGAがハイパーパラメータのランダムな選択よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-15T02:24:16Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。