論文の概要: Predicting the Susceptibility of Examples to Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2406.09935v2
• Date: Thu, 03 Jul 2025 18:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.070198
• Title: Predicting the Susceptibility of Examples to Catastrophic Forgetting
• Title（参考訳）: カタストロフィックフォーミングにおける事例の受容可能性予測
• Authors: Guy Hacohen, Tinne Tuytelaars,
• Abstract要約: 破滅的な忘れは、ニューラルネットワークが新しい情報を学ぶ際に、以前に学んだデータを忘れる傾向にある。 本研究では,学習速度と忘れることの関連性について考察する。 この知見に触発されて、我々は、学習速度に基づいてリプレイ例を選択するシンプルな一般的な戦略であるSpeed-Based Smpling(SBS)を紹介した。
• 参考スコア（独自算出の注目度）: 44.31831689984837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting - the tendency of neural networks to forget previously learned data when learning new information - remains a central challenge in continual learning. In this work, we adopt a behavioral approach, observing a connection between learning speed and forgetting: examples learned more quickly are less prone to forgetting. Focusing on replay-based continual learning, we show that the composition of the replay buffer - specifically, whether it contains quickly or slowly learned examples - has a significant effect on forgetting. Motivated by this insight, we introduce Speed-Based Sampling (SBS), a simple yet general strategy that selects replay examples based on their learning speed. SBS integrates easily into existing buffer-based methods and improves performance across a wide range of competitive continual learning benchmarks, advancing state-of-the-art results. Our findings underscore the value of accounting for the forgetting dynamics when designing continual learning algorithms.
• Abstract（参考訳）: 破滅的な忘れ物 — 新しい情報を学ぶ際に学習したデータを忘れてしまうニューラルネットワークの傾向 — は、継続的な学習において依然として中心的な課題である。 本研究では,学習速度と忘れることの関連性を観察し,行動的アプローチを採用する。 リプレイベース連続学習に着目して、リプレイバッファの構成(特に、高速あるいはゆっくり学習された例を含むか)が、忘れることに大きな影響を及ぼすことを示す。 この知見に触発されて、我々は、学習速度に基づいてリプレイ例を選択するシンプルな一般的な戦略であるSpeed-Based Smpling(SBS)を紹介した。 SBSは、既存のバッファベースのメソッドと容易に統合でき、幅広い競合する連続学習ベンチマークのパフォーマンスを改善し、最先端の結果を前進させる。 本研究は,連続学習アルゴリズムの設計において,忘れるダイナミクスを考慮に入れることの価値を裏付けるものである。

関連論文リスト

• Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions [50.44719434877687]
  専門家によるデモンストレーションやシミュレータは任意の状態にリセットできる。 この補助分布の選択を安全の概念を用いて通知することは、学習を著しく加速することを発見した。
  論文  参考訳（メタデータ） (2025-07-07T01:54:05Z)
• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation [3.8506666685467343]
  連続学習では、モデルが新しいタスクを学ぶと、以前の知識は忘れられる。 本稿では, 自己蒸留による伝達可能な知識の獲得により, この問題の解決を試みた。 提案手法は,CIFAR10,CIFAR100,MinimageNetデータセットを用いた実験により従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-17T16:26:33Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
  本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。 また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
  論文  参考訳（メタデータ） (2024-03-07T15:47:52Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• AdaER: An Adaptive Experience Replay Approach for Continual Lifelong Learning [16.457330925212606]
  持続的生涯学習の課題に対処するために,適応的経験リプレイ(AdaER)を提案する。 AdaERはメモリリプレイとメモリ更新という2つのステージで構成されている。 結果: AdaERは、既存の持続的生涯学習ベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-08-07T01:25:45Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Measuring Forgetting of Memorized Training Examples [80.9188503645436]
  機械学習モデルは、トレーニングデータ記憶と様々な形態記憶の2つの矛盾する現象を示す。 特定の例では、モデルは特定のトレーニングに過度に適合し、最終的にはプライバシー攻撃の影響を受けやすい。 我々は、決定論的に忘れる例を潜在的な説明として識別し、モデルが時間とともに訓練された例を経験的に忘れないことを示す。
  論文  参考訳（メタデータ） (2022-06-30T20:48:26Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Representation Memorization for Fast Learning New Knowledge without Forgetting [36.55736909586313]
  新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。 新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。 本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
  論文  参考訳（メタデータ） (2021-08-28T07:54:53Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Rehearsal revealed: The limits and merits of revisiting samples in continual learning [43.40531878205344]
  我々は,継続学習における最も確立された手法の一つであるリハーサルの限界とメリットについて考察する。 リハーサルで順次訓練されたモデルは、タスクが完了した後も同じ低損失領域にとどまりがちであるが、サンプルメモリに過剰適合する危険性がある。
  論文  参考訳（メタデータ） (2021-04-15T13:28:14Z)
• A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
  最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。 次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-08T23:40:02Z)
• Learning to Continually Learn Rapidly from Few and Noisy Data [19.09933805011466]
  新しいタスクを学習しながら、外部に格納された古いデータを同時にトレーニングすることで、継続的な学習を実現することができる。 過去のタスクごとに学習率をテキスト学習するメタラーニングナを使用することで、ベース学習者は少ないメモリで強力な結果が得られることが分かりました。
  論文  参考訳（メタデータ） (2021-03-06T08:29:47Z)
• Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
  連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。 現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。 ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
  論文  参考訳（メタデータ） (2020-02-19T13:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。