論文の概要: Global Convergence of Continual Learning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2503.18511v1
• Date: Mon, 24 Mar 2025 10:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 16:32:17.204429
• Title: Global Convergence of Continual Learning on Non-IID Data
• Title（参考訳）: 非IIDデータにおける連続学習のグローバル収束
• Authors: Fei Zhu, Yujing Liu, Wenzhuo Liu, Zhaoxiang Zhang,
• Abstract要約: 回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
• 参考スコア（独自算出の注目度）: 51.99584235667152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning, which aims to learn multiple tasks sequentially, has gained extensive attention. However, most existing work focuses on empirical studies, and the theoretical aspect remains under-explored. Recently, a few investigations have considered the theory of continual learning only for linear regressions, establishes the results based on the strict independent and identically distributed (i.i.d.) assumption and the persistent excitation on the feature data that may be difficult to verify or guarantee in practice. To overcome this fundamental limitation, in this paper, we provide a general and comprehensive theoretical analysis for continual learning of regression models. By utilizing the stochastic Lyapunov function and martingale estimation techniques, we establish the almost sure convergence results of continual learning under a general data condition for the first time. Additionally, without any excitation condition imposed on the data, the convergence rates for the forgetting and regret metrics are provided.
• Abstract（参考訳）: 複数のタスクを逐次学習することを目的とした継続的学習が注目されている。 しかし、現存するほとんどの研究は実証研究に焦点をあてており、理論的な側面は未解明のままである。 近年、線形回帰に限って連続学習の理論を考察し、厳密な独立性と同一分布(すなわち)仮定と、実際に検証や保証が難しい特徴データに対する持続的励起に基づいて結果を確立する研究がいくつか行われている。 この基本的な限界を克服するために、回帰モデルの連続学習のための一般的かつ包括的理論解析を提供する。 確率的リャプノフ関数とマルティンゲール推定手法を利用して,一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。 また、データに励起条件を課すことなく、忘れたり後悔したりする指標の収束率を提供する。

関連論文リスト

• MIRRAMS: Towards Training Models Robust to Missingness Distribution Shifts [2.5357049657770516]
  実世界のデータ分析では、トレーニングとテスト入力データセット間の分散シフトが頻繁に発生する。 本稿では,不足度分布の変化に対処する新しいディープラーニングフレームワークを提案する。 提案手法は,データの欠落を伴わずに最先端の性能を実現し,半教師付き学習タスクに自然に拡張することができる。
  論文  参考訳（メタデータ） (2025-07-11T03:03:30Z)
• Generalization Analysis for Supervised Contrastive Representation Learning under Non-IID Settings [8.732260277121547]
  非$i.d.$設定でContrastive Representation Learningフレームワークの一般化分析を行う。 そのクラスに関連する学習可能な表現のクラスを包含する数の対数として、各クラスで必要となるサンプル数を示す境界を導出する。 次に、線形写像やニューラルネットワークなどの共通関数クラスに対する過剰なリスク境界を導出するために、本研究の主な結果を適用する。
  論文  参考訳（メタデータ） (2025-05-08T04:26:41Z)
• Are you SURE? Enhancing Multimodal Pretraining with Missing Modalities through Uncertainty Estimation [12.459901557580052]
  我々は、遅延空間再構成と不確実性推定を導入して、事前訓練されたマルチモーダルモデルの能力を拡張した新しいフレームワークSUREを提案する。 SuREは、不完全なデータが存在する場合でも、常に最先端のパフォーマンスを達成し、堅牢な予測を確実にすることを示す。
  論文  参考訳（メタデータ） (2025-04-18T05:07:20Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Achieving Upper Bound Accuracy of Joint Training in Continual Learning [6.888316949368156]
  主な課題は破滅的な忘れ(CF)であり、ほとんどの研究はこの問題の緩和に向けられている。 最先端の連続学習アルゴリズムによって達成される精度と、全てのタスクを一緒に訓練することで達成される理想的あるいは上限的精度との間には、大きなギャップが残っている。 本稿は、この成果につながる主要な研究を調査し、直感的にも神経科学的にもアプローチを正当化し、得られた知見について考察する。
  論文  参考訳（メタデータ） (2025-02-17T23:54:43Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Understanding Forgetting in Continual Learning with Linear Regression [21.8755265936716]
  連続的な学習は、複数のタスクを逐次学習することに焦点を当てており、近年大きな注目を集めている。 線形回帰モデルにおいて, 線形回帰モデルをグラディエント・ディッセンス(Gradient Descent)を用いて, 忘れることの一般的な理論的解析を行う。 十分なデータサイズを考慮に入れれば、集団データ共分散行列の固有値が大きいタスクが後で訓練されるようなシーケンス内のタスクの配置は、忘れが増す傾向にあることを実証する。
  論文  参考訳（メタデータ） (2024-05-27T18:33:37Z)
• Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
  本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Steady State Analysis of Episodic Reinforcement Learning [0.0]
  本稿では,有限水平決定タスクのエピソード学習環境が,任意の行動方針の下で一意な定常状態を持つことを実証する。 エージェントの入力の限界分布は、本質的にすべてのエピソード学習過程における定常分布に収束する。
  論文  参考訳（メタデータ） (2020-11-12T19:34:59Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。