論文の概要: Provable Continual Learning via Sketched Jacobian Approximations

• arxiv url: http://arxiv.org/abs/2112.05095v1
• Date: Thu, 9 Dec 2021 18:36:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 13:23:22.783637
• Title: Provable Continual Learning via Sketched Jacobian Approximations
• Title（参考訳）: スケッチジャコビアン近似による証明可能な連続学習
• Authors: Reinhard Heckel
• Abstract要約: 忘れを克服するための一般的なアプローチは、以前のタスクで不十分なモデルをペナルティ化することで損失関数を正規化することである。 理想的条件下であっても、対角行列が以前のタスクのヘッセン行列の近似が貧弱であれば、破滅的な忘れを被る可能性があることを示す。 過去のデータのヤコビ行列をスケッチした新しいタスクの正規化トレーニング。
• 参考スコア（独自算出の注目度）: 17.381658875470638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An important problem in machine learning is the ability to learn tasks in a sequential manner. If trained with standard first-order methods most models forget previously learned tasks when trained on a new task, which is often referred to as catastrophic forgetting. A popular approach to overcome forgetting is to regularize the loss function by penalizing models that perform poorly on previous tasks. For example, elastic weight consolidation (EWC) regularizes with a quadratic form involving a diagonal matrix build based on past data. While EWC works very well for some setups, we show that, even under otherwise ideal conditions, it can provably suffer catastrophic forgetting if the diagonal matrix is a poor approximation of the Hessian matrix of previous tasks. We propose a simple approach to overcome this: Regularizing training of a new task with sketches of the Jacobian matrix of past data. This provably enables overcoming catastrophic forgetting for linear models and for wide neural networks, at the cost of memory. The overarching goal of this paper is to provided insights on when regularization-based continual learning algorithms work and under what memory costs.
• Abstract（参考訳）: 機械学習における重要な問題は、逐次的にタスクを学習する能力である。 標準的な一階法で訓練された場合、ほとんどのモデルは、新しいタスクで訓練された時に学習されたタスクを忘れる。 忘れることを克服する一般的なアプローチは、以前のタスクでパフォーマンスの悪いモデルをペナルティにすることで損失関数を定式化することである。 例えば、弾性重み統合(EWC)は、過去のデータに基づく対角行列構築を含む二次形式で正規化される。 ewcはいくつかの設定で非常にうまく機能するが、仮に理想的条件下であっても、対角行列が以前のタスクのヘッセン行列の貧弱な近似であるなら、破滅的な忘れに陥る可能性がある。 過去のデータのヤコビ行列のスケッチを用いて新しいタスクのトレーニングを規則化する。 これにより、線形モデルや広いニューラルネットワークに対する破滅的な忘れを、メモリのコストで克服できる。 本研究の目的は,正規化に基づく連続学習アルゴリズムの動作状況とメモリコストに関する洞察を提供することである。

関連論文リスト

• Provable unlearning in topic modeling and downstream tasks [36.571324268874264]
  アンラーニングの保証は、しばしば教師付き学習設定に限られる。 我々は、事前学習と微調整のパラダイムにおいて、初となるアンラーニングの理論的保証を提供する。 我々は、特定のタスクに微調整されたモデルから事前学習データを容易に解放できることを示し、ベースモデルを変更することなく、このデータを解放できることを示した。
  論文  参考訳（メタデータ） (2024-11-19T16:04:31Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
  機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。 我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
  知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。 本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。 提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
  論文  参考訳（メタデータ） (2020-04-29T10:47:54Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)
• Adversarial Incremental Learning [0.0]
  ディープラーニングは、以前のデータが利用できない新しいタスクを学ぶ際に、これまで学んだ情報を忘れることができる。 本稿では,新しいタスクのトレーニング中に,古いデータを全く利用しない逆判別器に基づく手法を提案する。 我々は、CIFAR-100、SVHN、MNISTデータセット上で、他の最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-01-30T02:25:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。