論文の概要: cPNN: Continuous Progressive Neural Networks for Evolving Streaming Time Series
- arxiv url: http://arxiv.org/abs/2603.03040v1
- Date: Tue, 03 Mar 2026 14:34:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.837829
- Title: cPNN: Continuous Progressive Neural Networks for Evolving Streaming Time Series
- Title(参考訳): cPNN: ストリーミング時系列を進化させる継続的プログレッシブニューラルネットワーク
- Authors: Federico Giannini, Giacomo Ziffer, Emanuele Della Valle,
- Abstract要約: 本研究は,連続進行型ニューラルネットワーク(cPNN)を提案する。
cPNNのテイムコンセプトはドリフトし、時間的依存を処理し、破滅的な忘れをバイパスする。
提案手法はリカレントニューラルネットワークに基づいて,時間的依存関係に適用したデータストリームを利用する。
- 参考スコア(独自算出の注目度): 1.3509194648045753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dealing with an unbounded data stream involves overcoming the assumption that data is identically distributed and independent. A data stream can, in fact, exhibit temporal dependencies (i.e., be a time series), and data can change distribution over time (concept drift). The two problems are deeply discussed, and existing solutions address them separately: a joint solution is absent. In addition, learning multiple concepts implies remembering the past (a.k.a. avoiding catastrophic forgetting in Neural Networks' terminology). This work proposes Continuous Progressive Neural Networks (cPNN), a solution that tames concept drifts, handles temporal dependencies, and bypasses catastrophic forgetting. cPNN is a continuous version of Progressive Neural Networks, a methodology for remembering old concepts and transferring past knowledge to fit the new concepts quickly. We base our method on Recurrent Neural Networks and exploit the Stochastic Gradient Descent applied to data streams with temporal dependencies. Results of an ablation study show a quick adaptation of cPNN to new concepts and robustness to drifts.
- Abstract(参考訳): 無制限のデータストリームとのディーリングは、データが同一に分散され、独立しているという仮定を克服する。
データストリームは、実際、時間的依存(つまり時系列)を示すことができ、データは時間とともに分布を変えることができる(概念のドリフト)。
2つの問題は深く議論されており、既存の解決策はこれらを別々に解決している。
さらに、複数の概念を学ぶことは過去の記憶を意味する(すなわち、ニューラルネットワークの用語における破滅的な忘れを避ける)。
提案するContinuous Progressive Neural Networks (cPNN)は,概念の漂流や時間依存性の処理,破滅的な忘れ込みを回避したソリューションだ。
cPNNはProgressive Neural Networksの継続的バージョンであり、古い概念を記憶し、新しい概念に素早く適合するように過去の知識を伝達する方法論である。
我々は、リカレントニューラルネットワークをベースとして、時間的依存を持つデータストリームに適用された確率的勾配 Descent を利用する。
アブレーション研究の結果は、新しい概念へのcPNNの迅速な適応とドリフトへの堅牢性を示している。
関連論文リスト
- Echoes of the past: A unified perspective on fading memory and echo states [4.595000276111106]
リカレントニューラルネットワーク(RNN)は、時系列や時間データを含む情報処理タスクにおいて、ますます人気が高まっている。
定常状態、エコー状態、状態の忘れ方、入力の忘れ方、暗くなるメモリなど、RNNにおけるメモリの挙動を概念化する様々な概念が提案されている。
この研究は、これらの概念を共通言語に統一し、それらの間の新しい含意と等価性を導き、既存の結果に対する代替的な証明を提供することを目的としている。
論文 参考訳(メタデータ) (2025-08-26T15:55:14Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Time Regularization in Optimal Time Variable Learning [0.4490343701046724]
近年、arXiv:2204.08528では、ディープニューラルネットワーク(DNN)における最適時変学習が導入されている。
離散力学系における時間的地平線に直接関係する正規化項を導入することにより、この概念を拡張する。
本稿では,Residual Neural Networks(ResNets)に対する適応型プルーニング手法を提案する。
提案した概念を、よく知られたMNISTとFashion MNISTデータセットの分類タスクに適用することによって、その結果が示される。
論文 参考訳(メタデータ) (2023-06-28T11:27:48Z) - Recurrent Neural Networks for Learning Long-term Temporal Dependencies
with Reanalysis of Time Scale Representation [16.32068729107421]
時間的表現としての忘れ門の解釈は、状態に対する損失の勾配が時間とともに指数関数的に減少するときに有効であると主張する。
本稿では,従来のモデルよりも長い時間スケールを表現できる新しいRNNの構築手法を提案する。
論文 参考訳(メタデータ) (2021-11-05T06:22:58Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳(メタデータ) (2021-03-23T09:32:06Z) - Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。
本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。
私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
論文 参考訳(メタデータ) (2020-12-10T22:30:25Z) - Short-Term Memory Optimization in Recurrent Neural Networks by
Autoencoder-based Initialization [79.42778415729475]
線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。
このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。
提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
論文 参考訳(メタデータ) (2020-11-05T14:57:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Fractional Deep Neural Network via Constrained Optimization [0.0]
本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。
Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
論文 参考訳(メタデータ) (2020-04-01T21:58:21Z) - Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。
より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
論文 参考訳(メタデータ) (2020-03-23T10:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。