論文の概要: Representation Memorization for Fast Learning New Knowledge without Forgetting

• arxiv url: http://arxiv.org/abs/2108.12596v1
• Date: Sat, 28 Aug 2021 07:54:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 14:22:53.938088
• Title: Representation Memorization for Fast Learning New Knowledge without Forgetting
• Title（参考訳）: 忘れることなく新しい知識を学習するための表現記憶
• Authors: Fei Mi, Tao Lin, and Boi Faltings
• Abstract要約: 新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。 新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。 本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
• 参考スコア（独自算出の注目度）: 36.55736909586313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to quickly learn new knowledge (e.g. new classes or data distributions) is a big step towards human-level intelligence. In this paper, we consider scenarios that require learning new classes or data distributions quickly and incrementally over time, as it often occurs in real-world dynamic environments. We propose "Memory-based Hebbian Parameter Adaptation" (Hebb) to tackle the two major challenges (i.e., catastrophic forgetting and sample efficiency) towards this goal in a unified framework. To mitigate catastrophic forgetting, Hebb augments a regular neural classifier with a continuously updated memory module to store representations of previous data. To improve sample efficiency, we propose a parameter adaptation method based on the well-known Hebbian theory, which directly "wires" the output network's parameters with similar representations retrieved from the memory. We empirically verify the superior performance of Hebb through extensive experiments on a wide range of learning tasks (image classification, language model) and learning scenarios (continual, incremental, online). We demonstrate that Hebb effectively mitigates catastrophic forgetting, and it indeed learns new knowledge better and faster than the current state-of-the-art.
• Abstract（参考訳）: 新しい知識(例えば、新しい知識)を素早く学ぶ能力 新しいクラスやデータ分布)は人間レベルの知性への大きな一歩です。 本稿では,実世界の動的環境においてしばしば発生するため,新しいクラスやデータ分布の学習を迅速かつ漸進的に行うシナリオについて考察する。 我々は,この目標を統一されたフレームワークで達成するための2つの大きな課題(破滅的な忘れとサンプル効率)に取り組むために,メモリベースのヘビアンパラメータ適応(Hebb)を提案する。 壊滅的な忘れを緩和するため、hebbは通常の神経分類器を連続的に更新したメモリモジュールで増強し、以前のデータの表現を格納する。 サンプル効率を向上させるために、メモリから取得した類似表現と出力ネットワークのパラメータを直接"配線"する、よく知られたヘビアン理論に基づくパラメータ適応手法を提案する。 我々は,様々な学習タスク(画像分類,言語モデル)と学習シナリオ(継続的な,インクリメンタル,オンライン)の広範な実験を通じて,hebbの優れた性能を実証する。 hebbは破滅的な忘れを効果的に軽減し、現在の最先端技術よりも、新しい知識をより良く、より速く学習できることを実証する。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Error Sensitivity Modulation based Experience Replay: Mitigating Abrupt Representation Drift in Continual Learning [13.041607703862724]
  本稿では,デュアルメモリリハーサルシステムにおけるエラー感度を変調する原理的機構を用いたESMERを提案する。 ESMERは、知識を集約しながら、新しいタスクに徐々に適応することにより、タスク境界における表現の忘れと突然のドリフトを効果的に低減する。 注目すべきは、実世界のデータストリームでユビキタスであるラベルノイズの高レベル下での学習を可能にすることだ。
  論文  参考訳（メタデータ） (2023-02-14T16:35:54Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Data augmentation on-the-fly and active learning in data stream classification [9.367903089535684]
  予測モデルをオンザフライでトレーニングする必要性が高まっている。 学習モデルは、アクティブな学習予算を増やすことなく、より多くのラベル付きデータにアクセスすることができる。 Augmented Queuesは、学習の質とスピードに関して、パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2022-10-13T09:57:08Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• ZS-IL: Looking Back on Learned ExperiencesFor Zero-Shot Incremental Learning [9.530976792843495]
  データストリームで新しいクラスが発生するたびに過去の体験を提供するオンコール転送セットを提案します。 ZS-ILは、よく知られたデータセット(CIFAR-10、Tiny-ImageNet)において、Task-ILとClass-ILの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2021-03-22T22:43:20Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。