論文の概要: Sample Compression for Continual Learning

• arxiv url: http://arxiv.org/abs/2503.10503v1
• Date: Thu, 13 Mar 2025 16:05:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:50.465110
• Title: Sample Compression for Continual Learning
• Title（参考訳）: 連続学習のためのサンプル圧縮
• Authors: Jacob Comeau, Mathieu Bazinet, Pascal Germain, Cem Subakan,
• Abstract要約: 連続学習アルゴリズムは、一連のタスクから学習することを目的としており、トレーニング分布を静止しないものにしている。 本稿では,タスク毎に最も代表的なサンプルを効率的に保持できる「Continual Pick-to-Learn」(CoP2L)という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 4.354838732412981
• License:
• Abstract: Continual learning algorithms aim to learn from a sequence of tasks, making the training distribution non-stationary. The majority of existing continual learning approaches in the literature rely on heuristics and do not provide learning guarantees for the continual learning setup. In this paper, we present a new method called 'Continual Pick-to-Learn' (CoP2L), which is able to retain the most representative samples for each task in an efficient way. The algorithm is adapted from the Pick-to-Learn algorithm, rooted in the sample compression theory. This allows us to provide high-confidence upper bounds on the generalization loss of the learned predictors, numerically computable after every update of the learned model. We also empirically show on several standard continual learning benchmarks that our algorithm is able to outperform standard experience replay, significantly mitigating catastrophic forgetting.
• Abstract（参考訳）: 連続学習アルゴリズムは、一連のタスクから学習することを目的としており、トレーニング分布を静止しないものにしている。 文学における既存の継続学習アプローチの大半はヒューリスティックスに依存しており、継続学習設定に対する学習保証を提供していない。 本稿では,タスク毎に最も代表的なサンプルを効率的に保持できる「Continual Pick-to-Learn」(CoP2L)という新しい手法を提案する。 このアルゴリズムはサンプル圧縮理論に根ざしたPick-to-Learnアルゴリズムから適応される。 これにより、学習モデルの更新毎に数値計算可能な、学習した予測子の一般化損失に関する高信頼な上限を与えることができる。 また、いくつかの標準連続学習ベンチマークにおいて、我々のアルゴリズムは標準的な経験リプレイよりも優れており、破滅的な忘れを著しく軽減することができることを実証的に示す。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
  継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。 広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。 リハーサルに基づく連続学習のためのコアセット選択法を考案する。
  論文  参考訳（メタデータ） (2022-03-28T07:37:17Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Avalanche: an End-to-End Library for Continual Learning [81.84325803942811]
  PyTorchをベースとした継続的学習研究のためのオープンソースライブラリであるAvalancheを提案する。 avalancheは、継続的学習アルゴリズムの高速プロトタイピング、トレーニング、再現可能な評価のための共有とコラボレーションを提供するように設計されている。
  論文  参考訳（メタデータ） (2021-04-01T11:31:46Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• A Theory of Universal Learning [26.51949485387526]
  普遍的な学習の確率は3つしかないことを示す。 任意の概念クラスの学習曲線は指数的あるいは任意に遅い速度で減衰することを示す。
  論文  参考訳（メタデータ） (2020-11-09T15:10:32Z)
• Meta-learning with Stochastic Linear Bandits [120.43000970418939]
  我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。 我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2020-05-18T08:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。