論文の概要: Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks
- arxiv url: http://arxiv.org/abs/1906.01094v6
- Date: Wed, 28 Jun 2023 07:52:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 19:02:50.763055
- Title: Exploring weight initialization, diversity of solutions, and degradation
in recurrent neural networks trained for temporal and decision-making tasks
- Title(参考訳): 時間的および意思決定タスク用に訓練された繰り返しニューラルネットワークにおける重み初期化、解の多様性、劣化の探求
- Authors: Cecilia Jarne and Rodrigo Laje
- Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent Neural Networks (RNNs) are frequently used to model aspects of
brain function and structure. In this work, we trained small fully-connected
RNNs to perform temporal and flow control tasks with time-varying stimuli. Our
results show that different RNNs can solve the same task by converging to
different underlying dynamics and also how the performance gracefully degrades
as either network size is decreased, interval duration is increased, or
connectivity damage is increased. For the considered tasks, we explored how
robust the network obtained after training can be according to task
parameterization. In the process, we developed a framework that can be useful
to parameterize other tasks of interest in computational neuroscience. Our
results are useful to quantify different aspects of the models, which are
normally used as black boxes and need to be understood in order to model the
biological response of cerebral cortex areas.
- Abstract(参考訳): リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。
本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
また,ネットワークサイズが小さくなったり,間隔が長くなったり,接続障害が大きくなったりすることで,異なるRNNが同じ課題を解くことができることを示す。
検討した課題に対して,タスクパラメータ化により学習後に得られるネットワークがいかに堅牢かを検討した。
その過程で,計算神経科学における他の関心課題をパラメータ化するためのフレームワークを開発した。
この結果は、通常ブラックボックスとして用いられ、大脳皮質領域の生物学的応答をモデル化するために理解する必要があるモデルの異なる側面を定量化するのに有用である。
関連論文リスト
- Efficient and Effective Time-Series Forecasting with Spiking Neural
Networks [50.195087118884665]
スパイキングニューラルネットワーク(SNN)は、時間データの複雑さを捉えるためのユニークな経路を提供する。
SNNを時系列予測に適用することは、効果的な時間的アライメントの難しさ、符号化プロセスの複雑さ、およびモデル選択のための標準化されたガイドラインの欠如により困難である。
本稿では,時間情報処理におけるスパイクニューロンの効率を活かした時系列予測タスクにおけるSNNのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-02T16:23:50Z) - Adaptive Reorganization of Neural Pathways for Continual Learning with
Spiking Neural Networks [10.385705424344644]
神経経路を適応的に再編成する脳にインスパイアされた連続学習アルゴリズムを提案する。
提案モデルでは,様々な連続学習タスクにおいて,性能,エネルギー消費,メモリ容量が一貫した優位性を示す。
論文 参考訳(メタデータ) (2023-09-18T07:56:40Z) - Enhancing Efficient Continual Learning with Dynamic Structure
Development of Spiking Neural Networks [6.407825206595442]
子どもは複数の認知タスクを逐次学習する能力を持っている。
既存の連続学習フレームワークは通常、ディープニューラルネットワーク(DNN)に適用できる。
本研究では,効率的な適応型連続学習のためのスパイキングニューラルネットワーク(DSD-SNN)の動的構造開発を提案する。
論文 参考訳(メタデータ) (2023-08-09T07:36:40Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳(メタデータ) (2021-10-17T15:55:51Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Effective and Efficient Computation with Multiple-timescale Spiking
Recurrent Neural Networks [0.9790524827475205]
本稿では,新しいタイプの適応スパイクリカレントニューラルネットワーク(SRNN)が,最先端の性能を実現する方法を示す。
我々は、従来のRNNよりも難しいタスクにおいて、SRNNの100倍のエネルギー改善を計算します。
論文 参考訳(メタデータ) (2020-05-24T01:04:53Z) - Training spiking neural networks using reinforcement learning [0.0]
本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。
本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。
我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
論文 参考訳(メタデータ) (2020-05-12T17:40:36Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。