論文の概要: Gradient-based Editing of Memory Examples for Online Task-free Continual Learning

• arxiv url: http://arxiv.org/abs/2006.15294v3
• Date: Tue, 7 Dec 2021 21:35:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 07:23:05.527632
• Title: Gradient-based Editing of Memory Examples for Online Task-free Continual Learning
• Title（参考訳）: オンラインタスクフリー連続学習のためのグラディエントに基づくメモリ例の編集
• Authors: Xisen Jin, Arka Sadhu, Junyi Du, Xiang Ren
• Abstract要約: 本稿では,連続的な入力空間に格納されたサンプルを勾配更新によって編集するフレームワークを提案する。 実験によりGMEDの有効性が検証され,本手法はベースラインや過去の最先端技術よりも優れていた。
• 参考スコア（独自算出の注目度）: 32.42598791049035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore task-free continual learning (CL), in which a model is trained to avoid catastrophic forgetting in the absence of explicit task boundaries or identities. Among many efforts on task-free CL, a notable family of approaches are memory-based that store and replay a subset of training examples. However, the utility of stored seen examples may diminish over time since CL models are continually updated. Here, we propose Gradient based Memory EDiting (GMED), a framework for editing stored examples in continuous input space via gradient updates, in order to create more "challenging" examples for replay. GMED-edited examples remain similar to their unedited forms, but can yield increased loss in the upcoming model updates, thereby making the future replays more effective in overcoming catastrophic forgetting. By construction, GMED can be seamlessly applied in conjunction with other memory-based CL algorithms to bring further improvement. Experiments validate the effectiveness of GMED, and our best method significantly outperforms baselines and previous state-of-the-art on five out of six datasets. Code can be found at https://github.com/INK-USC/GMED.
• Abstract（参考訳）: 我々は、明示的なタスク境界やアイデンティティの欠如による破滅的な忘れることを避けるためにモデルが訓練されるタスクフリー連続学習(cl)を探求する。 タスクフリーなclに対する多くの取り組みの中で、注目すべきアプローチは、トレーニング例のサブセットを格納し再生するメモリベースである。 しかし、clモデルが継続的に更新されるため、保存された例の実用性は時間とともに低下する可能性がある。 本稿では,リプレイのためのより"混在"な例を生成するために,グラディエントベースのメモリ編集(GMED, Gradient based Memory EDiting)を提案する。 gmedで編集された例は未編集の形式と似ているが、今後のモデル更新で損失が増える可能性があるため、将来のリプレイは破滅的な忘れを克服する上でより効果的になる。 構成により、GMEDは他のメモリベースのCLアルゴリズムとシームレスに適用でき、さらなる改善をもたらす。 実験によりGMEDの有効性が検証され、6つのデータセットのうち5つでベースラインと過去の最先端を著しく上回っている。 コードはhttps://github.com/INK-USC/GMEDにある。

関連論文リスト

• Slowing Down Forgetting in Continual Learning [20.57872238271025]
  継続的学習(CL)における一般的な課題は、新しいタスクが学習された後に古いタスクのパフォーマンスが落ちることを忘れることである。 本稿では,ReCLと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-11T12:19:28Z)
• Hybrid Memory Replay: Blending Real and Distilled Data for Class Incremental Learning [19.671792951465]
  インクリメンタルラーニング(IL)は、従来のタスクから学んだ知識を維持しつつ、現在のタスクから新しい知識を取得することを目的としている。 リプレイベースのILメソッドは、以前のタスクをバッファに格納し、新しいタスクを学ぶ際にそれらを再生する。 データ蒸留(DD)は、大規模な実データセットを、より情報に適合した合成例のセットに凝縮することで、模範バッファのサイズを減らすことができる。 本稿では,歴史に残るチェックポイントのスライディングウィンドウから合成データを蒸留するDDの革新的な改良を提案する。
  論文  参考訳（メタデータ） (2024-10-20T12:13:32Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Queried Unlabeled Data Improves and Robustifies Class-Incremental Learning [133.39254981496146]
  クラス増分学習(Class-incremental Learning, CIL)は、新たに追加されたクラスを学習することと、以前に学習したクラス知識を保存することの間の悪名高いジレンマに悩まされる。 我々は、連続学習において「自由」な外部ラベル付きデータクエリを活用することを提案する。 CIL-QUDを堅牢化したバージョンにシームレスに拡張する。
  論文  参考訳（メタデータ） (2022-06-15T22:53:23Z)
• Prototypes-Guided Memory Replay for Continual Learning [13.459792148030717]
  継続学習(英: Continual Learning, CL)とは、学習性能を高めるために、トレーニングサンプルの小さな記述と以前に学んだ知識のみを使用する機械学習パラダイムである。 CLの最大の難しさは、データ分布の変化によって引き起こされた、以前に学習されたタスクの破滅的な忘れである。 オンラインメタ学習モデルに組み込んだメモリ効率の高いCL手法を提案する。
  論文  参考訳（メタデータ） (2021-08-28T13:00:57Z)
• Condensed Composite Memory Continual Learning [17.192367229752072]
  ディープニューラルネットワーク(DNN)は、最新のタスクのデータのみが利用可能な一連のタスクでトレーニングされると、パフォーマンスが急速に低下します。 本稿では,完全なデータセットの本質を捉えた,少数の合成例を学習する新しい方法を提案する。
  論文  参考訳（メタデータ） (2021-02-19T12:18:15Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。