論文の概要: Global Convergence of Continual Learning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2503.18511v1
• Date: Mon, 24 Mar 2025 10:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:34:42.757816
• Title: Global Convergence of Continual Learning on Non-IID Data
• Title（参考訳）: 非IIDデータにおける連続学習のグローバル収束
• Authors: Fei Zhu, Yujing Liu, Wenzhuo Liu, Zhaoxiang Zhang,
• Abstract要約: 回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
• 参考スコア（独自算出の注目度）: 51.99584235667152
• License:
• Abstract: Continual learning, which aims to learn multiple tasks sequentially, has gained extensive attention. However, most existing work focuses on empirical studies, and the theoretical aspect remains under-explored. Recently, a few investigations have considered the theory of continual learning only for linear regressions, establishes the results based on the strict independent and identically distributed (i.i.d.) assumption and the persistent excitation on the feature data that may be difficult to verify or guarantee in practice. To overcome this fundamental limitation, in this paper, we provide a general and comprehensive theoretical analysis for continual learning of regression models. By utilizing the stochastic Lyapunov function and martingale estimation techniques, we establish the almost sure convergence results of continual learning under a general data condition for the first time. Additionally, without any excitation condition imposed on the data, the convergence rates for the forgetting and regret metrics are provided.
• Abstract（参考訳）: 複数のタスクを逐次学習することを目的とした継続的学習が注目されている。 しかし、現存するほとんどの研究は実証研究に焦点をあてており、理論的な側面は未解明のままである。 近年、線形回帰に限って連続学習の理論を考察し、厳密な独立性と同一分布(すなわち)仮定と、実際に検証や保証が難しい特徴データに対する持続的励起に基づいて結果を確立する研究がいくつか行われている。 この基本的な限界を克服するために、回帰モデルの連続学習のための一般的かつ包括的理論解析を提供する。 確率的リャプノフ関数とマルティンゲール推定手法を利用して,一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。 また、データに励起条件を課すことなく、忘れたり後悔したりする指標の収束率を提供する。

関連論文リスト

• Achieving Upper Bound Accuracy of Joint Training in Continual Learning [6.888316949368156]
  主な課題は破滅的な忘れ(CF)であり、ほとんどの研究はこの問題の緩和に向けられている。 最先端の連続学習アルゴリズムによって達成される精度と、全てのタスクを一緒に訓練することで達成される理想的あるいは上限的精度との間には、大きなギャップが残っている。 本稿は、この成果につながる主要な研究を調査し、直感的にも神経科学的にもアプローチを正当化し、得られた知見について考察する。
  論文  参考訳（メタデータ） (2025-02-17T23:54:43Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Deep End-to-End Survival Analysis with Temporal Consistency [49.77103348208835]
  本稿では,大規模長手データの処理を効率的に行うために,Survival Analysisアルゴリズムを提案する。 我々の手法における中心的な考え方は、時間とともにデータにおける過去と将来の成果が円滑に進化するという仮説である時間的一貫性である。 我々のフレームワークは、安定したトレーニング信号を提供することで、時間的一貫性を大きなデータセットに独自に組み込む。
  論文  参考訳（メタデータ） (2024-10-09T11:37:09Z)
• TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Rehearsal revealed: The limits and merits of revisiting samples in continual learning [43.40531878205344]
  我々は,継続学習における最も確立された手法の一つであるリハーサルの限界とメリットについて考察する。 リハーサルで順次訓練されたモデルは、タスクが完了した後も同じ低損失領域にとどまりがちであるが、サンプルメモリに過剰適合する危険性がある。
  論文  参考訳（メタデータ） (2021-04-15T13:28:14Z)
• Steady State Analysis of Episodic Reinforcement Learning [0.0]
  本稿では,有限水平決定タスクのエピソード学習環境が,任意の行動方針の下で一意な定常状態を持つことを実証する。 エージェントの入力の限界分布は、本質的にすべてのエピソード学習過程における定常分布に収束する。
  論文  参考訳（メタデータ） (2020-11-12T19:34:59Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。