論文の概要: Selective Memory Recursive Least Squares: Uniformly Allocated
Approximation Capabilities of RBF Neural Networks in Real-Time Learning
- arxiv url: http://arxiv.org/abs/2211.07909v1
- Date: Tue, 15 Nov 2022 05:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 13:14:01.613958
- Title: Selective Memory Recursive Least Squares: Uniformly Allocated
Approximation Capabilities of RBF Neural Networks in Real-Time Learning
- Title（参考訳）: 選択記憶再帰最小二乗:リアルタイム学習におけるRBFニューラルネットワークの均一近似能力
- Authors: Yiming Fei, Jiangang Li, Yanan Li
- Abstract要約: リアルタイム学習タスクでは、ラジアル基底関数ニューラルネットワーク(RBFNN)がトレーニングサンプルをフル活用することが期待されている。
メカニズムを忘れると、ある有用な知識が失われます。
本稿では,RBFNNの特徴空間を有限個のパーティションに等分する,選択メモリ再帰最小二乗法(SMRLS)を提案する。
- 参考スコア（独自算出の注目度）: 2.31120983784623
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When performing real-time learning tasks, the radial basis function neural
network (RBFNN) is expected to make full use of the training samples such that
its learning accuracy and generalization capability are guaranteed. Since the
approximation capability of the RBFNN is finite, training methods with
forgetting mechanisms such as the forgetting factor recursive least squares
(FFRLS) and stochastic gradient descent (SGD) methods are widely used to
maintain the learning ability of the RBFNN to new knowledge. However, with the
forgetting mechanisms, some useful knowledge will get lost simply because they
are learned a long time ago, which we refer to as the passive knowledge
forgetting phenomenon. To address this problem, this paper proposes a real-time
training method named selective memory recursive least squares (SMRLS) in which
the feature space of the RBFNN is evenly discretized into a finite number of
partitions and a synthesized objective function is developed to replace the
original objective function of the ordinary recursive least squares (RLS)
method. SMRLS is featured with a memorization mechanism that synthesizes the
samples within each partition in real-time into representative samples
uniformly distributed over the feature space, and thus overcomes the passive
knowledge forgetting phenomenon and improves the generalization capability of
the learned knowledge. Compared with the SGD or FFRLS methods, SMRLS achieves
improved learning performance (learning speed, accuracy and generalization
capability), which is demonstrated by corresponding simulation results.
- Abstract（参考訳）: リアルタイム学習タスクを行う場合、放射基底関数ニューラルネットワーク(RBFNN)は、その学習精度と一般化能力が保証されるように、トレーニングサンプルをフル活用することが期待される。
RBFNNの近似能力は有限であるため、RBFNNの学習能力を新しい知識に維持するために、忘れ係数再帰最小二乗法(FFRLS)や確率勾配降下法(SGD)といった機構を忘れる訓練手法が広く用いられている。
しかし, 忘れる機構によっては, 昔から学習されていただけに, 受動的知識を忘れる現象として, 有用な知識が失われる。
本稿では,RBFNNの特徴空間を有限個の分割に均等に離散化し,通常の再帰最小二乗法(RLS)の本来の目的関数を置き換えるために合成目的関数を開発する,選択メモリ再帰最小二乗法(SMRLS)を提案する。
SMRLSは、各パーティション内のサンプルをリアルタイムで記憶機構で特徴空間上に均一に分散した代表サンプルに合成し、受動的知識忘れ現象を克服し、学習知識の一般化能力を向上させる。
SGD法やFFRLS法と比較して、SMRLSは学習性能の向上(学習速度、精度、一般化能力)を達成し、それに対応するシミュレーション結果によって実証される。
関連論文リスト
- Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Iterative self-transfer learning: A general methodology for response
time-history prediction based on small dataset [0.0]
本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。
提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T18:48:04Z) - Learning Signal Temporal Logic through Neural Network for Interpretable
Classification [13.829082181692872]
本稿では時系列行動の分類のための説明可能なニューラルネットワーク・シンボリック・フレームワークを提案する。
提案手法の計算効率, コンパクト性, 解釈可能性について, シナリオの駆動と海軍の監視事例研究を通じて実証する。
論文 参考訳（メタデータ） (2022-10-04T21:11:54Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Path classification by stochastic linear recurrent neural networks [2.5499055723658097]
トレーニングや分類作業に利用されるユニークな情報として,RNNが供給される経路の部分的なシグネチャを保持することを示す。
これらのRNNは訓練が容易で堅牢であり、これらの観測を合成データと実データの両方で数値実験で裏付けるものである、と我々は主張する。
論文 参考訳（メタデータ） (2021-08-06T12:59:12Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - HiPPO: Recurrent Memory with Optimal Polynomial Projections [93.3537706398653]
本稿では,連続信号と離散時系列をベースに投影してオンライン圧縮するための一般フレームワーク(HiPPO)を提案する。
過去の各時間ステップの重要性を示す尺度が与えられた場合、HiPPOは自然なオンライン関数近似問題に対する最適解を生成する。
このフォーマルなフレームワークは、すべての履歴を記憶するために時間をかけてスケールする新しいメモリ更新メカニズム(HiPPO-LegS)を提供する。
論文 参考訳（メタデータ） (2020-08-17T23:39:33Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Automated Deep Abstractions for Stochastic Chemical Reaction Networks [0.0]
低レベル化学反応ネットワーク(CRN)モデルは高次元連続時間マルコフ連鎖(CTMC)を生じさせる
最近提案された抽象化手法では,このCTMCを離散時間連続空間プロセスに置き換えるためにディープラーニングを用いる。
本稿では、最適なニューラルネットワークアーキテクチャを学習することで、CRNの深い抽象化をさらに自動化することを提案する。
論文 参考訳（メタデータ） (2020-01-30T13:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。