論文の概要: Unveiling the role of plasticity rules in reservoir computing
- arxiv url: http://arxiv.org/abs/2101.05848v1
- Date: Thu, 14 Jan 2021 19:55:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-29 00:42:36.335287
- Title: Unveiling the role of plasticity rules in reservoir computing
- Title（参考訳）: 貯留層計算における可塑性ルールの役割
- Authors: Guillermo B. Morales, Claudio R. Mirasso and Miguel C. Soriano
- Abstract要約: Reservoir Computing (RC) は機械学習において魅力的なアプローチである。
我々は,RCの性能向上につながる変化に対して,塑性規則が果たす役割を分析する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reservoir Computing (RC) is an appealing approach in Machine Learning that
combines the high computational capabilities of Recurrent Neural Networks with
a fast and easy training method. Likewise, successful implementation of
neuro-inspired plasticity rules into RC artificial networks has boosted the
performance of the original models. In this manuscript, we analyze the role
that plasticity rules play on the changes that lead to a better performance of
RC. To this end, we implement synaptic and non-synaptic plasticity rules in a
paradigmatic example of RC model: the Echo State Network. Testing on nonlinear
time series prediction tasks, we show evidence that improved performance in all
plastic models are linked to a decrease of the pair-wise correlations in the
reservoir, as well as a significant increase of individual neurons ability to
separate similar inputs in their activity space. Here we provide new insights
on this observed improvement through the study of different stages on the
plastic learning. From the perspective of the reservoir dynamics, optimal
performance is found to occur close to the so-called edge of instability. Our
results also show that it is possible to combine different forms of plasticity
(namely synaptic and non-synaptic rules) to further improve the performance on
prediction tasks, obtaining better results than those achieved with
single-plasticity models.
- Abstract（参考訳）: Reservoir Computing(RC)は、リカレントニューラルネットワークの高計算能力と高速で簡単なトレーニング手法を組み合わせた機械学習における魅力的なアプローチである。
同様に、RC人工ネットワークへのニューロインスパイアされた塑性規則の実装が成功し、オリジナルのモデルの性能が向上した。
本論文では, RCの性能向上につながる変化に対して, 塑性規則が果たす役割を解析する。
この目的のために、我々はRCモデルのパラダイム的な例であるEcho State Networkでシナプス的および非シナプス的可塑性規則を実装した。
非線形時系列予測タスクをテストした結果,すべてのプラスチックモデルの性能向上は,貯水池の対相関の低下や,活動空間で類似した入力を分離する個々のニューロンの能力の大幅な増加と関連していることが示された。
ここでは, プラスチック学習における異なる段階の研究を通して, 観察された改善について新たな知見を与える。
貯水池の動力学の観点からは、最適性能はいわゆる不安定な縁近くで起こることが示されている。
また, この結果から, 可塑性の異なる形態(シナプス的および非シナプス的規則)を組み合わせることで, 予測タスクの性能を向上し, 単一可塑性モデルよりも優れた結果が得られることを示した。
関連論文リスト
- Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - Enhancing Dynamical System Modeling through Interpretable Machine
Learning Augmentations: A Case Study in Cathodic Electrophoretic Deposition [0.8796261172196743]
本稿では,物理システムのモデリング向上を目的とした包括的データ駆動フレームワークを提案する。
実証的応用として,電顕的電気泳動沈着(EPD)のモデル化を追求する。
論文 参考訳（メタデータ） (2024-01-16T14:58:21Z) - Recurrent neural networks and transfer learning for elasto-plasticity in
woven composites [0.0]
本稿では, 織物のメソスケールシミュレーションの代用として, リカレントニューラルネットワーク(RNN)モデルを提案する。
平均場モデルは、弾塑性挙動を表す包括的データセットを生成する。
シミュレーションでは、任意の6次元ひずみヒストリーを用いて、ランダムウォーキング時の応力を原課題として、循環荷重条件を目標課題として予測する。
論文 参考訳（メタデータ） (2023-11-22T14:47:54Z) - PLASTIC: Improving Input and Label Plasticity for Sample Efficient
Reinforcement Learning [54.409634256153154]
強化学習(RL)では, サンプル効率の向上が重要である。
原則として、非政治的なRLアルゴリズムは、環境相互作用毎に複数の更新を可能にすることで、サンプル効率を向上させることができる。
本研究は, この現象の原因を, 塑性を2つの側面に分けて検討した。
論文 参考訳（メタデータ） (2023-06-19T06:14:51Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Deep Reinforcement Learning with Plasticity Injection [37.19742321534183]
深層強化学習(RL)ネットワークでは、可塑性が徐々に低下することを示す証拠がある。
可塑性注入はパラメータの数を変更せずにネットワーク可塑性を増加させる。
可塑性注入は 代替方法に比べて より強い性能を得る
論文 参考訳（メタデータ） (2023-05-24T20:41:35Z) - On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。
本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
論文 参考訳（メタデータ） (2023-04-04T09:34:14Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - A Spiking Neuron Synaptic Plasticity Model Optimized for Unsupervised
Learning [0.0]
スパイキングニューラルネットワーク(SNN)は、教師なし、教師なし、強化学習など、あらゆる種類の学習タスクを実行するための視点ベースとして考えられている。
SNNでの学習は、シナプス前およびシナプス後ニューロンの活動に依存するシナプス重みのダイナミクスを決定する規則であるシナプス可塑性によって実施される。
論文 参考訳（メタデータ） (2021-11-12T15:26:52Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。