論文の概要: Reservoir Computers Modal Decomposition and Optimization

• arxiv url: http://arxiv.org/abs/2101.07219v1
• Date: Wed, 13 Jan 2021 23:30:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 08:46:42.409516
• Title: Reservoir Computers Modal Decomposition and Optimization
• Title（参考訳）: 貯留層コンピュータのモード分解と最適化
• Authors: Chad Nathe, Enrico Del Frate, Thomas Carroll, Louis Pecora, Afroza Shirin, Francesco Sorrentino
• Abstract要約: 我々は貯水池の力学をモードに分解し、互いに独立して計算することができる。 次に、固有値は適切な設計と最適化が可能なパラメータであるパラメトリックなアプローチをとる。 個々のモードの操作は、固有値または時間シフトの観点で、トレーニングエラーの劇的な減少につながる可能性があることを示しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The topology of a network associated with a reservoir computer is often taken so that the connectivity and the weights are chosen randomly. Optimization is hardly considered as the parameter space is typically too large. Here we investigate this problem for a class of reservoir computers for which we obtain a decomposition of the reservoir dynamics into modes, which can be computed independently of one another. Each mode depends on an eigenvalue of the network adjacency matrix. We then take a parametric approach in which the eigenvalues are parameters that can be appropriately designed and optimized. In addition, we introduce the application of a time shift to each individual mode. We show that manipulations of the individual modes, either in terms of the eigenvalues or the time shifts, can lead to dramatic reductions in the training error.
• Abstract（参考訳）: 貯水池コンピュータに関連付けられたネットワークのトポロジーは、接続と重みがランダムに選択されるようにしばしば取られる。 パラメータ空間が大きすぎるので最適化を考えることはほとんどない。 本稿では, 貯水池の動的分解をモードに分解し, 互いに独立して計算できる貯水池コンピュータのクラスについて, この問題を考察する。 各モードは、ネットワーク隣接行列の固有値に依存する。 次に、固有値は適切な設計と最適化が可能なパラメータであるパラメトリックなアプローチをとる。 さらに,各モードへのタイムシフトの適用についても紹介する。 固有値や時間シフトの観点から個々のモードの操作が、トレーニングエラーの劇的な削減につながることを示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Simple Cycle Reservoirs are Universal [0.358439716487063]
  貯留層モデル(Reservoir model)は、トレーニング不能な入力と動的結合重みを固定したリカレントニューラルネットワークのサブクラスを形成する。 制限のない線形貯水池系を普遍的に近似できることを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:35:59Z)
• Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation [71.27989298860481]
  二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。 そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:17:35Z)
• KaFiStO: A Kalman Filtering Framework for Stochastic Optimization [27.64040983559736]
  ニューラルネットワークのトレーニングでは,サンプルのサブセットをランダムに選択することで,損失関数が時間とともに変化することを示す。 このランダム化は最適化問題を最適なものにする。 我々は、この損失を、何らかの参照に関してうるさい観察と見なすことを提案する。
  論文  参考訳（メタデータ） (2021-07-07T16:13:57Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Training Invertible Linear Layers through Rank-One Perturbations [0.0]
  この研究は、非可逆線形層をトレーニングするための新しいアプローチを示す。 ネットワークパラメータを直接最適化する代わりに、ランク1の摂動を訓練し、しばしば実際の重み行列に追加する。 このような非可逆ブロックが混合性を改善し, 結果として発生する流れのモード分離を正規化する方法を示す。
  論文  参考訳（メタデータ） (2020-10-14T12:43:47Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。