論文の概要: Continual Learning of Dynamical Systems in Recurrent Neural Networks through Recyclable Unit Gating

• arxiv url: http://arxiv.org/abs/2609.38356v1
• Date: Tue, 29 Sep 2026 18:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.565155
• Title: Continual Learning of Dynamical Systems in Recurrent Neural Networks through Recyclable Unit Gating
• Title（参考訳）: リサイクルユニットゲーティングによるリカレントニューラルネットワークにおける動的システムの連続学習
• Abstract要約: 動的システム再構成(DSR)は、システムの定性的長期挙動を再現する観測時系列からモデルを推論することを目的としている。 パラメータ正規化,リプレイ,アイソレーションにまたがる確立された連続学習(CL)手法をベンチマークした。 本稿では,コンパクトなアロケーションとフォワード転送によるキャパシティの保存を行うCRUG(Continuous-Recyclable Unit-Gating)を紹介する。
• 参考スコア（独自算出の注目度）: 13.429086216170552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamical Systems Reconstruction (DSR) aims to infer models from observed time series that reproduce a system's qualitative long-term behavior. Continual DSR (cDSR) requires learning new systems while preserving previously learned dynamics, yet even small parameter updates in recurrent models can qualitatively alter their behavior over long autonomous rollouts. We benchmark established continual learning (CL) methods spanning parameter regularization, replay, and parameter isolation on the fully trainable and interpretable Almost-Linear RNN (AL-RNN). Parameter isolation preserves earlier dynamics most effectively, but excessive task-specific allocations can rapidly exhaust a fixed-size network. We therefore introduce Continually-Recyclable Unit-Gating (CRUG), which conserves capacity through compact allocation and forward transfer. Differentiable gates trained with an $L_0$-based penalty select task-specific units, while unused units are recycled for subsequent tasks. Directed connections allow later tasks to reuse earlier representations without affecting the dynamics of previously committed units. CRUG achieves the strongest reconstruction--capacity trade-off among the tested methods with zero forgetting and reliably learns a heterogeneous sequence of nonlinear and chaotic systems. Furthermore, we show that forward transfer is more pronounced and useful when tasks share similar underlying dynamics. Lastly, we demonstrate that CRUG's advantages extend beyond autonomous cDSR to sequential cognitive tasks.
• Abstract（参考訳）: 動的システム再構成(DSR)は、システムの定性的長期挙動を再現する観測時系列からモデルを推論することを目的としている。 連続DSR(cDSR)は、以前に学習したダイナミクスを保存しながら新しいシステムを学ぶ必要があるが、反復モデルにおける小さなパラメータ更新でさえ、長い自律的なロールアウトに対して、その振る舞いを質的に変更することができる。 パラメータ正規化,リプレイ,パラメータ分離にまたがる継続学習(CL)手法を,完全トレーニング可能で解釈可能な準線形RNN(AL-RNN)上でベンチマークした。 パラメータ分離は、初期のダイナミクスを最も効果的に保存するが、過剰なタスク固有のアロケーションは、固定サイズのネットワークを迅速に消し去ることができる。 そこで我々は,コンパクトなアロケーションとフォワード転送によるキャパシティの保存を行うContinuous-Recyclable Unit-Gating (CRUG)を導入する。 L_0$ベースのペナルティで訓練された異なるゲートはタスク固有のユニットを選択し、未使用のユニットはその後のタスクのためにリサイクルされる。 ダイレクト接続により、後続のタスクは、以前コミットされたユニットのダイナミクスに影響を与えることなく、以前の表現を再利用できる。 CRUGは, 非線形およびカオス系の不均一なシーケンスを確実に学習し, 忘れることなく, 試験方法の中で最強の復元能力トレードオフを実現する。 さらに、タスクが同じ基礎となるダイナミクスを共有する場合、転送はより顕著で有用であることを示す。 最後に、CRUGの利点が自律的cDSRからシーケンシャル認知タスクにまで及んでいることを実証する。

関連論文リスト

• Continual Learning for Adaptive AI Systems [0.0]
  クラスタ・アウェア・リプレイ(Cluster-Aware Replay, CAR)は、クラスバランスの小さなリプレイバッファと正規化用語を統合するハイブリッド連続学習フレームワークである。 CARは、微調整単独よりも初期のタスクパフォーマンスを保ちます。
  論文  参考訳（メタデータ） (2025-10-09T00:44:32Z)
• Recurrent Stochastic Configuration Networks with Incremental Blocks [0.0]
  リカレント・コンフィグレーション・ネットワーク(RSCN)は、順序の不確実性を伴う非線形力学系のモデリングにおいて、将来性を示す。 本稿では,ブロックインクリメントを持つブロックRCCN(BRSCN)を開発した。 BRSCNは建設中に複数の貯水池ノード(貯水池)を同時に追加することができる。
  論文  参考訳（メタデータ） (2024-11-18T05:58:47Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [55.596897987498174]
  本稿では,重み付き時間遅延フィードバック機構を備えたゲートリカレントユニット(GRU)を導入し,時系列データの長期依存性をモデル化する手法を提案する。 提案したモデルである $tau$-GRU は、繰り返し単位の連続時間定式化の離散版であり、力学は遅延微分方程式(DDE)によって制御される。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。