論文の概要: Gradient-Matching Coresets for Rehearsal-Based Continual Learning
- arxiv url: http://arxiv.org/abs/2203.14544v1
- Date: Mon, 28 Mar 2022 07:37:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 16:01:55.676418
- Title: Gradient-Matching Coresets for Rehearsal-Based Continual Learning
- Title（参考訳）: リハーサル型連続学習のための勾配マッチングコアセット
- Authors: Lukas Balles, Giovanni Zappella, C\'edric Archambeau
- Abstract要約: 継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。
広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。
リハーサルに基づく連続学習のためのコアセット選択法を考案する。
- 参考スコア（独自算出の注目度）: 6.243028964381449
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of continual learning (CL) is to efficiently update a machine
learning model with new data without forgetting previously-learned knowledge.
Most widely-used CL methods rely on a rehearsal memory of data points to be
reused while training on new data. Curating such a rehearsal memory to maintain
a small, informative subset of all the data seen so far is crucial to the
success of these methods. We devise a coreset selection method for
rehearsal-based continual learning. Our method is based on the idea of gradient
matching: The gradients induced by the coreset should match, as closely as
possible, those induced by the original training dataset. Inspired by the
neural tangent kernel theory, we perform this gradient matching across the
model's initialization distribution, allowing us to extract a coreset without
having to train the model first. We evaluate the method on a wide range of
continual learning scenarios and demonstrate that it improves the performance
of rehearsal-based CL methods compared to competing memory management
strategies such as reservoir sampling.
- Abstract（参考訳）: 継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。
広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。
このようなリハーサルメモリを計算して、これまで見てきたすべてのデータの小さな情報サブセットを維持することは、これらの手法の成功に不可欠である。
リハーサル型連続学習のためのコアセット選択法を考案する。
コアセットによって誘導される勾配は、可能な限り、元のトレーニングデータセットによって誘導される勾配と一致すべきである。
神経接核理論(neural tangent kernel theory)に触発され、モデルの初期化分布をまたいでこの勾配マッチングを行い、まずモデルを訓練することなくコアセットを抽出することができる。
本手法は,多岐にわたる連続学習シナリオで評価し,リハーサルに基づくcl法の性能を,リザーバサンプリングなどの競合するメモリ管理戦略と比較して改善することを示す。
関連論文リスト
- An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。
メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。
モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-07-30T16:30:09Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。
このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。
LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
論文 参考訳（メタデータ） (2023-10-02T17:52:24Z) - Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。
本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。
提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
論文 参考訳（メタデータ） (2023-01-07T01:35:25Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Making Look-Ahead Active Learning Strategies Feasible with Neural
Tangent Kernels [6.372625755672473]
本稿では,仮説的ラベル付き候補データを用いた再学習に基づく,能動的学習獲得戦略の近似手法を提案する。
通常、これはディープ・ネットワークでは実現できないが、我々はニューラル・タンジェント・カーネルを用いて再トレーニングの結果を近似する。
論文 参考訳（メタデータ） (2022-06-25T06:13:27Z) - A Framework and Benchmark for Deep Batch Active Learning for Regression [2.093287944284448]
ラベル付きデータのバッチを適応的に選択する能動的学習法について検討した。
本稿では,ネットワークに依存した)ベースカーネル,カーネル変換,選択メソッドからそのようなメソッドを構築するためのフレームワークを提案する。
提案手法は,我々のベンチマークの最先端性,大規模データセットへのスケール,ネットワークアーキテクチャやトレーニングコードを調整することなく,アウト・オブ・ボックスで動作する。
論文 参考訳（メタデータ） (2022-03-17T16:11:36Z) - Gradient-matching coresets for continual learning [8.525080112374374]
勾配マッチングの考え方に基づくコアセット選択法を考案する。
本手法は,リハーサル記憶のキュレーションに用いる連続学習の文脈で評価する。
論文 参考訳（メタデータ） (2021-12-09T16:34:44Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。