論文の概要: Studying Generalization on Memory-Based Methods in Continual Learning

• arxiv url: http://arxiv.org/abs/2306.09890v1
• Date: Fri, 16 Jun 2023 14:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 13:20:18.975783
• Title: Studying Generalization on Memory-Based Methods in Continual Learning
• Title（参考訳）: 連続学習におけるメモリベース手法の一般化に関する研究
• Authors: Felipe del Rio, Julio Hurtado, Cristian Buc, Alvaro Soto and Vincenzo Lomonaco
• Abstract要約: メモリベースのメソッドは、トレーニング中に使用する以前のデータ分散の割合を格納する。 これらの手法は, 従来の分布内一般化に有効であるが, 突発的特徴や相関関係を学習することで, 分布外一般化を強く損なう可能性がある。
• 参考スコア（独自算出の注目度）: 9.896917981912106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the objectives of Continual Learning is to learn new concepts continually over a stream of experiences and at the same time avoid catastrophic forgetting. To mitigate complete knowledge overwriting, memory-based methods store a percentage of previous data distributions to be used during training. Although these methods produce good results, few studies have tested their out-of-distribution generalization properties, as well as whether these methods overfit the replay memory. In this work, we show that although these methods can help in traditional in-distribution generalization, they can strongly impair out-of-distribution generalization by learning spurious features and correlations. Using a controlled environment, the Synbol benchmark generator (Lacoste et al., 2020), we demonstrate that this lack of out-of-distribution generalization mainly occurs in the linear classifier.
• Abstract（参考訳）: 継続的学習の目的の1つは、一連の経験を通して新しい概念を継続的に学び、同時に破滅的な忘れ物を避けることである。 完全な知識オーバーライトを軽減するため、メモリベースのメソッドは、トレーニング中に使用する以前のデータ分布の比率を格納する。 これらの手法は良好な結果をもたらすが、その分散の一般化特性とリプレイメモリに過剰に適合するかどうかを試験した研究は少ない。 本研究では,これらの手法が従来の分布内一般化に有効であるが,突発的特徴と相関を学習することで分布外一般化を強く損なうことができることを示す。 制御された環境であるsynbolベンチマークジェネレータ(lacoste et al., 2020)を用いて、この分散的一般化の欠如が主に線形分類器で発生することを実証する。

関連論文リスト

• Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
  本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。 また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
  論文  参考訳（メタデータ） (2024-03-07T15:47:52Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learned reconstruction methods for inverse problems: sample error estimates [0.8702432681310401]
  本論文は,学習した再構成手法の一般化特性,特にサンプル誤差解析を行うためのものである。 より一般的な戦略が提案され、その仮定は、逆問題と学習方法の大きなクラスに対して満たされる。
  論文  参考訳（メタデータ） (2023-12-21T17:56:19Z)
• Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
  継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。 広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。 リハーサルに基づく連続学習のためのコアセット選択法を考案する。
  論文  参考訳（メタデータ） (2022-03-28T07:37:17Z)
• Continually Learning Self-Supervised Representations with Projected Functional Regularization [39.92600544186844]
  近年の自己教師あり学習手法は高品質な画像表現を学習でき、教師ありの手法でギャップを埋めている。 これらの手法は、新たな知識を段階的に取得することができない -- 実際、主にIDデータによる事前学習フェーズとしてのみ使用される。 従来の知識を忘れないように,機能正規化の利用を提案する。
  論文  参考訳（メタデータ） (2021-12-30T11:59:23Z)
• Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning [80.20302993614594]
  ラプラシア正規化の欠点を克服するための統計的解析を提供する。 望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。 我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
  論文  参考訳（メタデータ） (2020-09-09T14:28:54Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Continual Deep Learning by Functional Regularisation of Memorable Past [95.97578574330934]
  知的システムにとって、新しいスキルを継続的に学習することは重要だが、標準的なディープラーニング手法は、過去の破滅的な忘れ物に悩まされている。 本稿では, 過去の記憶に残るいくつかの例を, 忘れることを避けるために活用する機能正規化手法を提案する。 提案手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開拓する。
  論文  参考訳（メタデータ） (2020-04-29T10:47:54Z)
• AL2: Progressive Activation Loss for Learning General Representations in Classification Neural Networks [12.14537824884951]
  本稿では,トレーニング中のアクティベーションの規模を段階的に罰する新たな正規化手法を提案する。 本手法が一般化に与える影響をラベルランダム化試験と累積アブレーションを用いて解析した。
  論文  参考訳（メタデータ） (2020-03-07T18:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。