論文の概要: Incremental Online Learning of Randomized Neural Network with Forward Regularization

• arxiv url: http://arxiv.org/abs/2412.13096v1
• Date: Tue, 17 Dec 2024 17:06:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:00:18.605842
• Title: Incremental Online Learning of Randomized Neural Network with Forward Regularization
• Title（参考訳）: 前向き正規化を伴うランダム化ニューラルネットワークのインクリメンタルオンライン学習
• Authors: Junda Wang, Minghui Hu, Ning Li, Abdulaziz Al-Ali, Ponnuthurai Nagaratnam Suganthan,
• Abstract要約: ランダム化ニューラルネットワーク(ランダム化NN)の新たなオンライン学習プロセスを提案する。 フレームワーク内では、リッジ正規化(-R)によるIOLとフォワード正規化(-F)によるIOLをさらに導入する。
• 参考スコア（独自算出の注目度）: 8.624268246962457
• License:
• Abstract: Online learning of deep neural networks suffers from challenges such as hysteretic non-incremental updating, increasing memory usage, past retrospective retraining, and catastrophic forgetting. To alleviate these drawbacks and achieve progressive immediate decision-making, we propose a novel Incremental Online Learning (IOL) process of Randomized Neural Networks (Randomized NN), a framework facilitating continuous improvements to Randomized NN performance in restrictive online scenarios. Within the framework, we further introduce IOL with ridge regularization (-R) and IOL with forward regularization (-F). -R generates stepwise incremental updates without retrospective retraining and avoids catastrophic forgetting. Moreover, we substituted -R with -F as it enhanced precognition learning ability using semi-supervision and realized better online regrets to offline global experts compared to -R during IOL. The algorithms of IOL for Randomized NN with -R/-F on non-stationary batch stream were derived respectively, featuring recursive weight updates and variable learning rates. Additionally, we conducted a detailed analysis and theoretically derived relative cumulative regret bounds of the Randomized NN learners with -R/-F in IOL under adversarial assumptions using a novel methodology and presented several corollaries, from which we observed the superiority on online learning acceleration and regret bounds of employing -F in IOL. Finally, our proposed methods were rigorously examined across regression and classification tasks on diverse datasets, which distinctly validated the efficacy of IOL frameworks of Randomized NN and the advantages of forward regularization.
• Abstract（参考訳）: ディープニューラルネットワークのオンライン学習は、ヒステリックな非インクリメンタル更新、メモリ使用量の増加、過去の振り返りのトレーニング、破滅的な忘れ込みといった課題に悩まされている。 本稿では,これらの欠点を緩和し,迅速な意思決定を実現するために,ランダム化ニューラルネットワーク(Randomized Neural Networks, Randomized NN)の新たなインクリメンタルオンライン学習(Incrmental Online Learning, IOL)プロセスを提案する。 フレームワーク内では、リッジ正則化(-R)によるIOLと、前方正則化(-F)によるIOLをさらに導入する。 -Rは、レトロスペクティブを再トレーニングすることなく段階的に漸進的な更新を生成し、破滅的な忘れを避ける。 さらに,セミスーパービジョンを用いた事前認識学習能力の向上に伴い,-Rを-Fに置き換えた。 非定常バッチストリーム上での-R/-Fを用いたランダム化NNのためのIOLアルゴリズムをそれぞれ導出し,再帰的な重み更新と可変学習率を特徴とした。 さらに, 新たな手法を用いて, IOLにおけるRandomized NN学習者の相対的累積的後悔境界と -R/-F との相関関係を詳細に解析し, 比較検討を行い, オンライン学習の促進と, IOLにおける-F 採用の後悔境界の優位性について考察した。 最後に,提案手法は,ランダム化NNのIOLフレームワークの有効性と前方正規化の利点を明確に検証する多種多様なデータセットの回帰・分類タスクに対して,厳密に検討した。

関連論文リスト

• Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
  リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。 時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:15:29Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Composite FORCE learning of chaotic echo state networks for time-series prediction [7.650966670809372]
  本稿では,初期活動が自然にカオスなESNを学習するための複合Force学習法を提案する。 その結果,従来の手法に比べて学習性能と予測性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2022-07-06T03:44:09Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• DL-Reg: A Deep Learning Regularization Technique using Linear Regression [4.1359299555083595]
  本稿では,DL-Regと呼ばれる新しいディープラーニング正規化手法を提案する。 ネットワークをできるだけ線形に振る舞うように明示的に強制することで、ディープネットワークの非線形性をある程度まで慎重に減少させる。 DL-Regの性能は、いくつかのベンチマークデータセット上で最先端のディープネットワークモデルをトレーニングすることで評価される。
  論文  参考訳（メタデータ） (2020-10-31T21:53:24Z)
• A Novel Neural Network Training Framework with Data Assimilation [2.948167339160823]
  勾配計算を避けるため,データ同化に基づく勾配なし学習フレームワークを提案する。 その結果,提案手法は勾配法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-06T11:12:23Z)
• Variational Inference-Based Dropout in Recurrent Neural Networks for Slot Filling in Spoken Language Understanding [9.93926378136064]
  本稿では,変動型リカレントニューラルネットワーク(RNN)を,変動型推論(VI)に基づくドロップアウト正規化で一般化する。 ATISデータセットの実験から、VIベースのドロップアウト正規化による変動RNNは、素早いドロップアウト正規化RNNベースのベースラインシステムを大幅に改善する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-08-23T22:05:54Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。