論文の概要: CLeAN: Continual Learning Adaptive Normalization in Dynamic Environments
- arxiv url: http://arxiv.org/abs/2603.17548v1
- Date: Wed, 18 Mar 2026 09:52:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.62472
- Title: CLeAN: Continual Learning Adaptive Normalization in Dynamic Environments
- Title（参考訳）: CLeAN: 動的環境における継続的学習適応正規化
- Authors: Isabella Marasco, Davide Evangelista, Elena Loli Piccolomini, Michele Colajanni,
- Abstract要約: 本稿では,継続的学習のための新しい適応正規化手法である連続学習適応正規化(CLeAN)を紹介する。
CLeANは、EMA(Exponential moving Average)モジュールを通じて更新される学習可能なパラメータを使用して、グローバルな機能スケールを推定する。
我々は、CLeanが新しいデータにおけるモデル性能を改善するだけでなく、破滅的な忘れを緩和することを示した。
- 参考スコア（独自算出の注目度）: 3.4182067509295915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence systems predominantly rely on static data distributions, making them ineffective in dynamic real-world environments, such as cybersecurity, autonomous transportation, or finance, where data shifts frequently. Continual learning offers a potential solution by enabling models to learn from sequential data while retaining prior knowledge. However, a critical and underexplored issue in this domain is data normalization. Conventional normalization methods, such as min-max scaling, presuppose access to the entire dataset, which is incongruent with the sequential nature of continual learning. In this paper we introduce Continual Learning Adaptive Normalization (CLeAN), a novel adaptive normalization technique designed for continual learning in tabular data. CLeAN involves the estimation of global feature scales using learnable parameters that are updated via an Exponential Moving Average (EMA) module, enabling the model to adapt to evolving data distributions. Through comprehensive evaluations on two datasets and various continual learning strategies, including Resevoir Experience Replay, A-GEM, and EwC we demonstrate that CLeAN not only improves model performance on new data but also mitigates catastrophic forgetting. The findings underscore the importance of adaptive normalization in enhancing the stability and effectiveness of tabular data, offering a novel perspective on the use of normalization to preserve knowledge in dynamic learning environments.
- Abstract（参考訳）: 人工知能システムは、主に静的なデータ配信に依存しており、サイバーセキュリティ、自律輸送、金融といった、データが頻繁にシフトする動的な現実世界環境では効果がない。
連続学習は、モデルが事前の知識を保持しながらシーケンシャルなデータから学べるようにすることで、潜在的な解決策を提供する。
しかし、この領域で重要で未解明の問題は、データの正規化である。
min-maxスケーリングのような従来の正規化手法は、連続学習のシーケンシャルな性質とは相容れないデータセット全体へのアクセスを前提としている。
本稿では連続学習適応正規化(CLeAN)について紹介する。
CLeANは、EMA(Exponential moving Average)モジュールを通じて更新される学習可能なパラメータを使用して、グローバルな機能スケールを推定することで、モデルが進化するデータ分散に適応できるようにする。
Resevoir Experience Replay、A-GEM、EwCなどの2つのデータセットに対する総合的な評価を通じて、CLeANは新しいデータにおけるモデルパフォーマンスを改善するだけでなく、破滅的な忘れを緩和することを示した。
この結果は,動的学習環境における知識の保存に正規化を用いる上での新たな視点として,表形式のデータの安定性と有効性を高める上での適応正規化の重要性を浮き彫りにした。
関連論文リスト
- Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。
本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
論文 参考訳（メタデータ） (2025-12-29T12:35:51Z) - Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。
本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。
我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
論文 参考訳（メタデータ） (2025-12-01T15:56:00Z) - Unbiased Online Curvature Approximation for Regularized Graph Continual Learning [9.70311578832594]
グラフ連続学習(GCL)は、グラフベースのタスクの連続的なシーケンスから学習することを目的としている。
規則化法はGCLの破滅的な忘れ込みを防ぐのに不可欠である。
本稿では,モデルの現在の学習状況に基づいて,フルフィッシャー情報行列(FIM)の非バイアスオンライン曲率近似を提案する。
論文 参考訳（メタデータ） (2025-09-16T06:35:13Z) - Heterogeneous Self-Supervised Acoustic Pre-Training with Local Constraints [64.15709757611369]
異種データを扱うための自己教師付き事前学習手法を提案する。
提案手法は、下流の教師付き微調整タスクに対する自己教師付き事前訓練モデルの適応性を大幅に向上させることができる。
論文 参考訳（メタデータ） (2025-08-27T15:48:50Z) - FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。
ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。
本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
論文 参考訳（メタデータ） (2025-03-20T04:49:40Z) - Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift [2.298932494750101]
クライアント側トレーニング分布の不整合がフェデレート学習モデルの性能を著しく低下させることを示す。
本稿では,ニューラルネットワークの疎結合性,冗長性,堅牢性を改善するために,フラニングとクライアントトレーニングの正規化を組み合わせた新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-19T16:22:37Z) - Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
本稿では,高次元一般化線形モデルにおけるオンライン推論に対する新しいアプローチを提案する。
提案手法は単一パスモードで動作し,全データセットアクセスや大次元要約統計ストレージを必要とする既存手法とは異なる。
我々の方法論的革新の核心は、動的目的関数に適した適応的降下アルゴリズムと、新しいオンラインデバイアス処理である。
論文 参考訳（メタデータ） (2024-05-28T15:36:48Z) - A Conditioned Unsupervised Regression Framework Attuned to the Dynamic Nature of Data Streams [0.0]
本稿では,制限付きラベル付きデータを用いたストリーミング環境の最適戦略を提案し,教師なし回帰のための適応手法を提案する。
提案手法は,初期ラベルのスパースセットを活用し,革新的なドリフト検出機構を導入する。
適応性を高めるために,Adaptive WINdowingアルゴリズムとRoot Mean Square Error (RMSE)に基づく誤り一般化アルゴリズムを統合する。
論文 参考訳（メタデータ） (2023-12-12T19:23:54Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳（メタデータ） (2021-05-03T07:23:39Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳（メタデータ） (2020-11-16T08:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。