論文の概要: Recovery Guarantees for Continual Learning of Dependent Tasks: Memory, Data-Dependent Regularization, and Data-Dependent Weights

• arxiv url: http://arxiv.org/abs/2604.17578v2
• Date: Thu, 23 Apr 2026 20:57:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.200928
• Title: Recovery Guarantees for Continual Learning of Dependent Tasks: Memory, Data-Dependent Regularization, and Data-Dependent Weights
• Title（参考訳）: 依存タスクの継続的な学習のためのリカバリ保証:メモリ、データ依存正規化、データ依存重み
• Authors: Liangzu Peng, Uday Kiran Reddy Tadipatri, Ziqing Xu, Eric Eaton, René Vidal,
• Abstract要約: 連続学習(CL)は、以前に学習したタスクを忘れずに連続的に複数のタスクを学習することに関心がある。 近年の実証的な進歩にもかかわらず、CLの理論的発展はその初期段階にある。 タスク依存を明示的にモデル化するために、非線形回帰タスクを考察し、これらのタスクが現在のタスクのデータが以前のデータの非線形変換であるような方法で依存しているという仮定を提案する。
• 参考スコア（独自算出の注目度）: 47.25226184852639
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) is concerned with learning multiple tasks sequentially without forgetting previously learned tasks. Despite substantial empirical advances over recent years, the theoretical development of CL remains in its infancy. At the heart of developing CL theory lies the challenge that the data distribution varies across tasks, and we argue that properly addressing this challenge requires understanding this variation--dependency among tasks. To explicitly model task dependency, we consider nonlinear regression tasks and propose the assumption that these tasks are dependent in such a way that the data of the current task is a nonlinear transformation of previous data. With this model and under natural assumptions, we prove statistical recovery guarantees (more specifically, bounds on estimation errors) for several CL paradigms in practical use, including experience replay with data-independent regularization and data-independent weights that balance the losses of tasks, replay with data-dependent weights, and continual learning with data-dependent regularization (e.g., knowledge distillation). To the best of our knowledge, our bounds are informative in cases where prior work gives vacuous bounds.
• Abstract（参考訳）: 連続学習(CL)は、以前に学習したタスクを忘れずに連続的に複数のタスクを学習することに関心がある。 近年の実証的な進歩にもかかわらず、CLの理論的発展はその初期段階にある。 CL理論の発展の中心には、データ分散がタスクによって異なるという課題があり、この課題に適切に対処するには、タスク間の依存性を理解する必要がある、と我々は主張する。 タスク依存を明示的にモデル化するために、非線形回帰タスクを考察し、これらのタスクが現在のタスクのデータが以前のデータの非線形変換であるような方法で依存しているという仮定を提案する。 このモデルと自然な仮定により、データ非依存の正規化とデータ非依存の重み付けによる経験の再現、データ依存の重み付けによる再生、データ依存の正規化による連続的な学習(知識の蒸留など)など、いくつかのCLパラダイムに対する統計的回復保証(より具体的には、推定誤差のバウンダリ)を実用的に証明する。 私たちの知識を最大限に活用するために、事前の作業が空白のバウンダリを与える場合、私たちのバウンダリは有益なものです。

関連論文リスト

• Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
  回帰モデルの連続学習のための総合的・包括的理論的解析を行う。 一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
  論文  参考訳（メタデータ） (2025-03-24T10:06:07Z)
• Federated Continual Instruction Tuning [39.344583304181135]
  フェデレートラーニング(FL)は、すべての分散データとトレーニングリソースを活用して、共同トレーニングのオーバーヘッドを軽減する可能性がある。 本稿では,この実世界の課題をモデル化するために,FCIT(Federated Continual Instruction Tuning)ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-17T07:58:06Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• One VLM to Keep it Learning: Generation and Balancing for Data-free Continual Visual Question Answering [31.025439143093585]
  VLM(Vision-Language Models)は、Webスケールのマルチモーダルデータセットを活用することで、VQA(Visual Question Answering)タスクにおいて大きな可能性を秘めている。 これらのモデルは、新しいタスクに適応する際に破滅的な忘れ物のために、継続的な学習に苦しむことが多い。 本稿では,外部モデルに頼るのではなく,VLMの言語生成能力を活用した最初のデータフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T16:04:59Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation [4.111899441919165]
  従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。 埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。 提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
  論文  参考訳（メタデータ） (2022-03-04T05:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。