Fugu-MT 論文翻訳(概要): Real-Time Progressive Learning: Accumulate Knowledge from Control with Neural-Network-Based Selective Memory

論文の概要: Real-Time Progressive Learning: Accumulate Knowledge from Control with Neural-Network-Based Selective Memory

arxiv url: http://arxiv.org/abs/2308.04223v2
Date: Fri, 24 Nov 2023 05:43:36 GMT
ステータス: 処理完了
システム内更新日: 2023-11-28 03:39:32.289401
Title: Real-Time Progressive Learning: Accumulate Knowledge from Control with Neural-Network-Based Selective Memory
Title（参考訳）: リアルタイムプログレッシブラーニング:ニューラルネットワークに基づく選択記憶による制御から知識を蓄積する
Authors: Yiming Fei, Jiangang Li, Yanan Li
Abstract要約: リアルタイム・プログレッシブ・ラーニング(RTPL)と呼ばれる放射基底関数ニューラルネットワークに基づく学習制御方式を提案する。 RTPLは安定性と閉ループ性能を保証したシステムの未知のダイナミクスを学習する。
参考スコア（独自算出の注目度）: 2.8638167607890836
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Memory, as the basis of learning, determines the storage, update and forgetting of knowledge and further determines the efficiency of learning. Featured with the mechanism of memory, a radial basis function neural network based learning control scheme named real-time progressive learning (RTPL) is proposed to learn the unknown dynamics of the system with guaranteed stability and closed-loop performance. Instead of the Lyapunov-based weight update law of conventional neural network learning control (NNLC), which mainly concentrates on stability and control performance, RTPL employs the selective memory recursive least squares (SMRLS) algorithm to update the weights of the neural network and achieves the following merits: 1) improved learning speed without filtering, 2) robustness to hyperparameter setting of neural networks, 3) good generalization ability, i.e., reuse of learned knowledge in different tasks, and 4) guaranteed learning performance under parameter perturbation. Moreover, RTPL realizes continuous accumulation of knowledge as a result of its reasonably allocated memory while NNLC may gradually forget knowledge that it has learned. Corresponding theoretical analysis and simulation studies demonstrate the effectiveness of RTPL.
Abstract（参考訳）: 記憶は、学習の基盤として、知識の記憶、更新、忘れ方を決定し、さらに学習の効率を決定づける。リアルタイム・プログレッシブ・ラーニング(RTPL)と呼ばれる放射基底関数ニューラルネットワークに基づく学習制御スキームは,安定性と閉ループ性能を保証したシステムの未知のダイナミクスを学習するために提案されている。安定性と制御性能に重点を置く従来のニューラルネットワーク学習制御(NNLC)のLyapunovベースの重み更新法の代わりに、RTPLは選択メモリ再帰最小二乗法(SMRLS)アルゴリズムを使用して、ニューラルネットワークの重みを更新し、以下のメリットを達成する。 1)フィルタリングなしの学習速度の向上。 2)ニューラルネットワークのハイパーパラメータ設定に対する堅牢性 3)優れた一般化能力、すなわち異なるタスクにおける学習知識の再利用 4)パラメータ摂動下での学習性能の保証。さらに、rtplはメモリを適度に割り当てた結果、知識の連続的な蓄積を実現し、nnlcは学習した知識を徐々に忘れてしまう可能性がある。対応する理論解析およびシミュレーション研究はrtplの有効性を示す。

関連論文リスト

A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文参考訳（メタデータ） (2024-09-18T14:57:13Z)
Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
論文参考訳（メタデータ） (2024-09-05T17:58:28Z)
Real-Time Recurrent Reinforcement Learning [7.737685867200335]
RTRRLは,(1)メタRL RNNアーキテクチャを独自に実装したアクター・クリティカルなアルゴリズム,(2)メタRLネットワークをトレーニングするために時間差分学習とダッチ適性トレースを利用する外部強化学習アルゴリズム,(3)ネットワークのパラメータに関する勾配を計算するオンライン自動微分アルゴリズムであるRFLO学習の3つの部分から構成される。
論文参考訳（メタデータ） (2023-11-08T16:56:16Z)
Improving Performance in Continual Learning Tasks using Bio-Inspired Architectures [4.2903672492917755]
我々は,シナプスの可塑性機構とニューロ変調を組み込んだ,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。提案手法により,Split-MNIST,Split-CIFAR-10,Split-CIFAR-100データセット上でのオンライン連続学習性能が向上する。さらに,鍵設計概念を他のバックプロパゲーションに基づく連続学習アルゴリズムに統合することにより,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2023-08-08T19:12:52Z)
Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。本稿では周波数領域の観点からRFLNNの特性について考察する。本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文参考訳（メタデータ） (2023-04-03T13:25:22Z)
ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-02-11T21:07:30Z)
The least-control principle for learning at equilibrium [65.2998274413952]
我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
論文参考訳（メタデータ） (2022-07-04T11:27:08Z)
lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
論文参考訳（メタデータ） (2022-05-24T18:08:16Z)
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
論文参考訳（メタデータ） (2020-07-16T07:41:23Z)
Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文参考訳（メタデータ） (2020-06-29T08:35:49Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。