論文の概要: Information-Theoretic Generalization Bounds of Replay-based Continual Learning
- arxiv url: http://arxiv.org/abs/2507.12043v1
- Date: Wed, 16 Jul 2025 09:00:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 19:00:11.317721
- Title: Information-Theoretic Generalization Bounds of Replay-based Continual Learning
- Title（参考訳）: リプレイ型連続学習における情報理論的一般化境界
- Authors: Wen Wen, Tieliang Gong, Yunjiao Zhang, Zeyu Gao, Weizhan Zhang, Yong-Jin Liu,
- Abstract要約: 連続学習(CL)は、逐次的なタスクから知識を得るための支配的なパラダイムとして現れてきた。
我々は、情報理論の一連の境界を導いた、リプレイベースのCLのための統一的な理論的枠組みを確立する。
本稿では,従来のタスクと現在のタスクデータとの類似性を限定的に活用することで,一般化の促進が図られることを示す。
- 参考スコア（独自算出の注目度）: 28.460141051954988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning (CL) has emerged as a dominant paradigm for acquiring knowledge from sequential tasks while avoiding catastrophic forgetting. Although many CL methods have been proposed to show impressive empirical performance, the theoretical understanding of their generalization behavior remains limited, particularly for replay-based approaches. In this paper, we establish a unified theoretical framework for replay-based CL, deriving a series of information-theoretic bounds that explicitly characterize how the memory buffer interacts with the current task to affect generalization. Specifically, our hypothesis-based bounds reveal that utilizing the limited exemplars of previous tasks alongside the current task data, rather than exhaustive replay, facilitates improved generalization while effectively mitigating catastrophic forgetting. Furthermore, our prediction-based bounds yield tighter and computationally tractable upper bounds of the generalization gap through the use of low-dimensional variables. Our analysis is general and broadly applicable to a wide range of learning algorithms, exemplified by stochastic gradient Langevin dynamics (SGLD) as a representative method. Comprehensive experimental evaluations demonstrate the effectiveness of our derived bounds in capturing the generalization dynamics in replay-based CL settings.
- Abstract（参考訳）: 連続学習(CL)は、破滅的な忘れを回避しつつ、逐次的なタスクから知識を得るための支配的なパラダイムとして現れてきた。
多くのCL法は、印象的な経験的性能を示すために提案されているが、その一般化挙動の理論的理解は、特にリプレイに基づくアプローチにおいて限られている。
本稿では、メモリバッファが現在のタスクとどのように相互作用し、一般化に影響を与えるかを明示的に特徴付ける一連の情報理論境界を導出した、リプレイベースのCLのための統一理論フレームワークを確立する。
具体的には,既存のタスクデータとともに,従来のタスクの限られた例を活用することで,破滅的忘れを効果的に軽減しつつ,一般化の促進を図っている。
さらに、我々の予測に基づく境界は、低次元変数を用いて一般化ギャップのより厳密で計算的に抽出可能な上限を与える。
本分析は,確率勾配ランゲヴィンダイナミクス(SGLD)を代表的手法として用いて,幅広い学習アルゴリズムに適用可能である。
リプレイベースのCL設定における一般化ダイナミクスのキャプチャーにおける導出境界の有効性を総合的実験により検証した。
関連論文リスト
- Generalization Analysis for Supervised Contrastive Representation Learning under Non-IID Settings [8.732260277121547]
非$i.d.$設定でContrastive Representation Learningフレームワークの一般化分析を行う。
そのクラスに関連する学習可能な表現のクラスを包含する数の対数として、各クラスで必要となるサンプル数を示す境界を導出する。
次に、線形写像やニューラルネットワークなどの共通関数クラスに対する過剰なリスク境界を導出するために、本研究の主な結果を適用する。
論文 参考訳（メタデータ） (2025-05-08T04:26:41Z) - Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
回帰モデルの連続学習のための総合的・包括的理論的解析を行う。
一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
論文 参考訳（メタデータ） (2025-03-24T10:06:07Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - IMEX-Reg: Implicit-Explicit Regularization in the Function Space for Continual Learning [17.236861687708096]
連続学習(CL)は、これまで獲得した知識の破滅的な忘れが原因で、ディープニューラルネットワークの長年にわたる課題の1つである。
低バッファ状態下でのCLにおける経験リハーサルの一般化性能を改善するために,強い帰納バイアスを用いて人間がどのように学習するかに着想を得たIMEX-Regを提案する。
論文 参考訳（メタデータ） (2024-04-28T12:25:09Z) - A Unified Approach to Controlling Implicit Regularization via Mirror
Descent [18.536453909759544]
ミラー降下(MD)は勾配降下(GD)の顕著な一般化である
MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
論文 参考訳（メタデータ） (2023-06-24T03:57:26Z) - Theory on Forgetting and Generalization of Continual Learning [41.85538120246877]
連続学習(CL)は、一連のタスクを学習することを目的としている。
どの要因が重要か、それらが「破滅的な忘れ方」や一般化のパフォーマンスにどのように影響するかについて、理解の欠如がある。
本研究の結果は,最近の研究で興味深い経験的観察結果を説明するだけでなく,CLのより実用的なアルゴリズム設計の動機も示している。
論文 参考訳（メタデータ） (2023-02-12T02:14:14Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Provable Generalization of Overparameterized Meta-learning Trained with
SGD [62.892930625034374]
我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。
我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。
理論的知見は実験によってさらに検証される。
論文 参考訳（メタデータ） (2022-06-18T07:22:57Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z) - Extreme Memorization via Scale of Initialization [72.78162454173803]
我々は,初期化の規模を変えることが,SGDによって誘導される暗黙の正規化に強く影響を与える実験装置を構築する。
一般化能力に影響を及ぼす範囲と方法が、使用したアクティベーションと損失関数に依存することがわかった。
均質なReLU活性化の場合、この挙動は損失関数に起因することが示される。
論文 参考訳（メタデータ） (2020-08-31T04:53:11Z) - Optimization and Generalization of Regularization-Based Continual
Learning: a Loss Approximation Viewpoint [35.5156045701898]
各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。
この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
論文 参考訳（メタデータ） (2020-06-19T06:08:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。