論文の概要: Global Convergence of Continual Learning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2503.18511v1
• Date: Mon, 24 Mar 2025 10:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 16:32:17.204429
• Title: Global Convergence of Continual Learning on Non-IID Data
• Title（参考訳）: 非IIDデータにおける連続学習のグローバル収束
• Authors: Fei Zhu, Yujing Liu, Wenzhuo Liu, Zhaoxiang Zhang,
• Abstract要約: 回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
• 参考スコア（独自算出の注目度）: 51.99584235667152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning, which aims to learn multiple tasks sequentially, has gained extensive attention. However, most existing work focuses on empirical studies, and the theoretical aspect remains under-explored. Recently, a few investigations have considered the theory of continual learning only for linear regressions, establishes the results based on the strict independent and identically distributed (i.i.d.) assumption and the persistent excitation on the feature data that may be difficult to verify or guarantee in practice. To overcome this fundamental limitation, in this paper, we provide a general and comprehensive theoretical analysis for continual learning of regression models. By utilizing the stochastic Lyapunov function and martingale estimation techniques, we establish the almost sure convergence results of continual learning under a general data condition for the first time. Additionally, without any excitation condition imposed on the data, the convergence rates for the forgetting and regret metrics are provided.
• Abstract（参考訳）: 複数のタスクを逐次学習することを目的とした継続的学習が注目されている。 しかし、現存するほとんどの研究は実証研究に焦点をあてており、理論的な側面は未解明のままである。 近年、線形回帰に限って連続学習の理論を考察し、厳密な独立性と同一分布(すなわち)仮定と、実際に検証や保証が難しい特徴データに対する持続的励起に基づいて結果を確立する研究がいくつか行われている。 この基本的な限界を克服するために、回帰モデルの連続学習のための一般的かつ包括的理論解析を提供する。 確率的リャプノフ関数とマルティンゲール推定手法を利用して,一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。 また、データに励起条件を課すことなく、忘れたり後悔したりする指標の収束率を提供する。

関連論文リスト

• Are you SURE? Enhancing Multimodal Pretraining with Missing Modalities through Uncertainty Estimation [12.459901557580052]
  我々は、遅延空間再構成と不確実性推定を導入して、事前訓練されたマルチモーダルモデルの能力を拡張した新しいフレームワークSUREを提案する。 SuREは、不完全なデータが存在する場合でも、常に最先端のパフォーマンスを達成し、堅牢な予測を確実にすることを示す。
  論文  参考訳（メタデータ） (2025-04-18T05:07:20Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Achieving Upper Bound Accuracy of Joint Training in Continual Learning [6.888316949368156]
  主な課題は破滅的な忘れ(CF)であり、ほとんどの研究はこの問題の緩和に向けられている。 最先端の連続学習アルゴリズムによって達成される精度と、全てのタスクを一緒に訓練することで達成される理想的あるいは上限的精度との間には、大きなギャップが残っている。 本稿は、この成果につながる主要な研究を調査し、直感的にも神経科学的にもアプローチを正当化し、得られた知見について考察する。
  論文  参考訳（メタデータ） (2025-02-17T23:54:43Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Steady State Analysis of Episodic Reinforcement Learning [0.0]
  本稿では,有限水平決定タスクのエピソード学習環境が,任意の行動方針の下で一意な定常状態を持つことを実証する。 エージェントの入力の限界分布は、本質的にすべてのエピソード学習過程における定常分布に収束する。
  論文  参考訳（メタデータ） (2020-11-12T19:34:59Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。