論文の概要: Selective Memory Recursive Least Squares: Recast Forgetting into Memory
in RBF Neural Network Based Real-Time Learning
- arxiv url: http://arxiv.org/abs/2211.07909v2
- Date: Tue, 8 Aug 2023 12:30:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 17:44:45.403701
- Title: Selective Memory Recursive Least Squares: Recast Forgetting into Memory
in RBF Neural Network Based Real-Time Learning
- Title（参考訳）: 選択的記憶再帰的最小二乗法:rbfニューラルネットワークによるリアルタイム学習における記憶への再キャスト
- Authors: Yiming Fei, Jiangang Li, Yanan Li
- Abstract要約: 放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。
本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。
SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
- 参考スコア（独自算出の注目度）: 2.31120983784623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In radial basis function neural network (RBFNN) based real-time learning
tasks, forgetting mechanisms are widely used such that the neural network can
keep its sensitivity to new data. However, with forgetting mechanisms, some
useful knowledge will get lost simply because they are learned a long time ago,
which we refer to as the passive knowledge forgetting phenomenon. To address
this problem, this paper proposes a real-time training method named selective
memory recursive least squares (SMRLS) in which the classical forgetting
mechanisms are recast into a memory mechanism. Different from the forgetting
mechanism, which mainly evaluates the importance of samples according to the
time when samples are collected, the memory mechanism evaluates the importance
of samples through both temporal and spatial distribution of samples. With
SMRLS, the input space of the RBFNN is evenly divided into a finite number of
partitions and a synthesized objective function is developed using synthesized
samples from each partition. In addition to the current approximation error,
the neural network also updates its weights according to the recorded data from
the partition being visited. Compared with classical training methods including
the forgetting factor recursive least squares (FFRLS) and stochastic gradient
descent (SGD) methods, SMRLS achieves improved learning speed and
generalization capability, which are demonstrated by corresponding simulation
results.
- Abstract（参考訳）: 放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、ニューラルネットワークが新たなデータに対する感度を維持するために、忘れるメカニズムが広く使用されている。
しかし, 忘れる機構によっては, 昔から学習されていただけあって, 受動的知識を忘れる現象として, 有用な知識が失われる。
そこで本稿では,従来の記憶機構を記憶機構に再キャストする,smrls(selective memory recursive least squares)と呼ばれるリアルタイム学習手法を提案する。
サンプルの収集時間に応じてサンプルの重要性を主に評価する忘れ機構とは異なり、記憶機構はサンプルの時間分布と空間分布の両方を通してサンプルの重要性を評価する。
SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
現在の近似誤差に加えて、ニューラルネットワークは、訪問したパーティションから記録されたデータに従って重みも更新する。
SMRLSは, 最小二乗(FFRLS)や確率勾配降下(SGD)といった古典的学習法と比較して, 学習速度と一般化能力の向上を実現し, 対応するシミュレーション結果から検証した。
関連論文リスト
- Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Iterative self-transfer learning: A general methodology for response
time-history prediction based on small dataset [0.0]
本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。
提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T18:48:04Z) - Learning Signal Temporal Logic through Neural Network for Interpretable
Classification [13.829082181692872]
本稿では時系列行動の分類のための説明可能なニューラルネットワーク・シンボリック・フレームワークを提案する。
提案手法の計算効率, コンパクト性, 解釈可能性について, シナリオの駆動と海軍の監視事例研究を通じて実証する。
論文 参考訳（メタデータ） (2022-10-04T21:11:54Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。
これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
論文 参考訳（メタデータ） (2021-08-06T12:59:12Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。
過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。
このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
論文 参考訳（メタデータ） (2020-08-17T23:39:33Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Automated Deep Abstractions for Stochastic Chemical Reaction Networks [0.0]
低レベル化学反応ネットワーク(CRN)モデルは高次元連続時間マルコフ連鎖(CTMC)を生じさせる
最近提案された抽象化手法では,このCTMCを離散時間連続空間プロセスに置き換えるためにディープラーニングを用いる。
本稿では、最適なニューラルネットワークアーキテクチャを学習することで、CRNの深い抽象化をさらに自動化することを提案する。
論文 参考訳（メタデータ） (2020-01-30T13:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。