論文の概要: Predicting the Susceptibility of Examples to Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2406.09935v2
• Date: Thu, 03 Jul 2025 18:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.070198
• Title: Predicting the Susceptibility of Examples to Catastrophic Forgetting
• Title（参考訳）: カタストロフィックフォーミングにおける事例の受容可能性予測
• Authors: Guy Hacohen, Tinne Tuytelaars,
• Abstract要約: 破滅的な忘れは、ニューラルネットワークが新しい情報を学ぶ際に、以前に学んだデータを忘れる傾向にある。 本研究では,学習速度と忘れることの関連性について考察する。 この知見に触発されて、我々は、学習速度に基づいてリプレイ例を選択するシンプルな一般的な戦略であるSpeed-Based Smpling(SBS)を紹介した。
• 参考スコア（独自算出の注目度）: 44.31831689984837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting - the tendency of neural networks to forget previously learned data when learning new information - remains a central challenge in continual learning. In this work, we adopt a behavioral approach, observing a connection between learning speed and forgetting: examples learned more quickly are less prone to forgetting. Focusing on replay-based continual learning, we show that the composition of the replay buffer - specifically, whether it contains quickly or slowly learned examples - has a significant effect on forgetting. Motivated by this insight, we introduce Speed-Based Sampling (SBS), a simple yet general strategy that selects replay examples based on their learning speed. SBS integrates easily into existing buffer-based methods and improves performance across a wide range of competitive continual learning benchmarks, advancing state-of-the-art results. Our findings underscore the value of accounting for the forgetting dynamics when designing continual learning algorithms.
• Abstract（参考訳）: 破滅的な忘れ物 — 新しい情報を学ぶ際に学習したデータを忘れてしまうニューラルネットワークの傾向 — は、継続的な学習において依然として中心的な課題である。 本研究では,学習速度と忘れることの関連性を観察し,行動的アプローチを採用する。 リプレイベース連続学習に着目して、リプレイバッファの構成(特に、高速あるいはゆっくり学習された例を含むか)が、忘れることに大きな影響を及ぼすことを示す。 この知見に触発されて、我々は、学習速度に基づいてリプレイ例を選択するシンプルな一般的な戦略であるSpeed-Based Smpling(SBS)を紹介した。 SBSは、既存のバッファベースのメソッドと容易に統合でき、幅広い競合する連続学習ベンチマークのパフォーマンスを改善し、最先端の結果を前進させる。 本研究は,連続学習アルゴリズムの設計において,忘れるダイナミクスを考慮に入れることの価値を裏付けるものである。

関連論文リスト

• Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation [3.8506666685467343]
  連続学習では、モデルが新しいタスクを学ぶと、以前の知識は忘れられる。 本稿では, 自己蒸留による伝達可能な知識の獲得により, この問題の解決を試みた。 提案手法は,CIFAR10,CIFAR100,MinimageNetデータセットを用いた実験により従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-17T16:26:33Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Measuring Forgetting of Memorized Training Examples [80.9188503645436]
  機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。 特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。 我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
  論文  参考訳（メタデータ） (2022-06-30T20:48:26Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Rehearsal revealed: The limits and merits of revisiting samples in continual learning [43.40531878205344]
  我々は,継続学習における最も確立された手法の一つであるリハーサルの限界とメリットについて考察する。 リハーサルで順次訓練されたモデルは、タスクが完了した後も同じ低損失領域にとどまりがちであるが、サンプルメモリに過剰適合する危険性がある。
  論文  参考訳（メタデータ） (2021-04-15T13:28:14Z)
• A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
  最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。 次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-08T23:40:02Z)
• Learning to Continually Learn Rapidly from Few and Noisy Data [19.09933805011466]
  新しいタスクを学習しながら、外部に格納された古いデータを同時にトレーニングすることで、継続的な学習を実現することができる。 過去のタスクごとに学習率をテキスト学習するメタラーニングナを使用することで、ベース学習者は少ないメモリで強力な結果が得られることが分かりました。
  論文  参考訳（メタデータ） (2021-03-06T08:29:47Z)
• Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
  連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。 現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。 ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
  論文  参考訳（メタデータ） (2020-02-19T13:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。