論文の概要: Look At Me, No Replay! SurpriseNet: Anomaly Detection Inspired Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2310.20052v1
• Date: Mon, 30 Oct 2023 22:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 17:26:39.477057
• Title: Look At Me, No Replay! SurpriseNet: Anomaly Detection Inspired Class Incremental Learning
• Title（参考訳）: 俺を見ろ 再生しない! SurpriseNet: クラスインクリメンタル学習にインスパイアされた異常検出
• Authors: Anton Lee and Yaqian Zhang and Heitor Murilo Gomes and Albert Bifet and Bernhard Pfahringer
• Abstract要約: 継続的学習は、一連のタスクに関するインクリメンタルトレーニングを通じて、知識とスキルを蓄積可能な、人工知能ニューラルネットワークを作成することを目的としている。 継続的な学習の主な課題は破滅的な干渉であり、そこでは新たな知識が過去の知識を覆い、あるいは干渉し、忘れてしまう。 提案手法であるSurpriseNetは,パラメータ分離法と,異常検出にインスパイアされたオートエンコーダを用いたクロスタスク知識の学習により,破滅的な干渉に対処する。
• 参考スコア（独自算出の注目度）: 14.529164755845688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to create artificial neural networks capable of accumulating knowledge and skills through incremental training on a sequence of tasks. The main challenge of continual learning is catastrophic interference, wherein new knowledge overrides or interferes with past knowledge, leading to forgetting. An associated issue is the problem of learning "cross-task knowledge," where models fail to acquire and retain knowledge that helps differentiate classes across task boundaries. A common solution to both problems is "replay," where a limited buffer of past instances is utilized to learn cross-task knowledge and mitigate catastrophic interference. However, a notable drawback of these methods is their tendency to overfit the limited replay buffer. In contrast, our proposed solution, SurpriseNet, addresses catastrophic interference by employing a parameter isolation method and learning cross-task knowledge using an auto-encoder inspired by anomaly detection. SurpriseNet is applicable to both structured and unstructured data, as it does not rely on image-specific inductive biases. We have conducted empirical experiments demonstrating the strengths of SurpriseNet on various traditional vision continual-learning benchmarks, as well as on structured data datasets. Source code made available at https://doi.org/10.5281/zenodo.8247906 and https://github.com/tachyonicClock/SurpriseNet-CIKM-23
• Abstract（参考訳）: 連続学習は、一連のタスクのインクリメンタルトレーニングを通じて、知識とスキルを蓄積できる人工ニューラルネットワークを作ることを目的としている。 継続的学習の主な課題は破滅的な干渉であり、新しい知識が過去の知識を覆したり妨害したりして、忘れてしまう。 関連する問題は、モデルがタスク境界を越えたクラスを区別する知識を取得して保持しない"クロスタスク知識"を学ぶことだ。 両方の問題に対する一般的な解決策は"再生"であり、過去のインスタンスのバッファを限定して、クロスタスクの知識を学習し、破滅的な干渉を緩和する。 しかし、これらの方法の顕著な欠点は、制限されたリプレイバッファをオーバーフィットする傾向があることである。 対照的に,提案手法であるSurpriseNetは,パラメータ分離法と,異常検出にインスパイアされたオートエンコーダを用いたクロスタスク知識の学習により,破滅的な干渉に対処する。 surprisenetは、画像固有の帰納バイアスに依存しないため、構造化データと非構造化データの両方に適用できる。 従来の視覚連続学習ベンチマークや構造化データデータセットにおけるSurpriseNetの強みを実証した実証実験を行った。 ソースコード: https://doi.org/10.5281/zenodo.8247906 and https://github.com/tachyonicclock/surprisenet-cikm-23

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• OER: Offline Experience Replay for Continual Offline Reinforcement Learning [25.985985377992034]
  エージェントには、事前にコンパイルされたオフラインデータセットのシーケンスを通じて、新たなスキルを継続的に学習することが望ましい。 本稿では、エージェントが一連のオフライン強化学習タスクを学習する、新しい設定である連続オフライン強化学習(CORL)を定式化する。 本稿では,リプレイバッファを構築するためのモデルベースエクスペリエンス選択手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T08:16:44Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Incremental Neural Implicit Representation with Uncertainty-Filtered Knowledge Distillation [59.95692054302568]
  最近の神経暗黙表現(NIR)は、3次元再構成と新しいビュー合成のタスクにおいて大きな成功を収めている。 ストリーミングデータから継続的に学習する場合、これまで見てきたデータを再考することなく、悲惨な忘れがちな問題に悩まされる。 破滅的な忘れの問題を軽減するために,学生と教師の枠組みを設計する。
  論文  参考訳（メタデータ） (2022-12-21T11:43:20Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Anomaly Detection in Video via Self-Supervised and Multi-Task Learning [113.81927544121625]
  ビデオにおける異常検出は、コンピュータビジョンの問題である。 本稿では,オブジェクトレベルでの自己教師型およびマルチタスク学習を通じて,ビデオ中の異常事象検出にアプローチする。
  論文  参考訳（メタデータ） (2020-11-15T10:21:28Z)
• Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
  連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。 生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。 連続学習には非常に有望な手法であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T13:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。