論文の概要: Utilizing Priming to Identify Optimal Class Ordering to Alleviate
Catastrophic Forgetting
- arxiv url: http://arxiv.org/abs/2212.12643v1
- Date: Sat, 24 Dec 2022 03:22:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 13:31:27.544188
- Title: Utilizing Priming to Identify Optimal Class Ordering to Alleviate
Catastrophic Forgetting
- Title（参考訳）: プライミングを用いた最適クラス順序同定による壊滅的忘れの軽減
- Authors: Gabriel Mantione-Holmes, Justin Leo, Jugal Kalita
- Abstract要約: 本稿では,人間に見られるプライミングの様々な方法と,生涯の機械学習においてどのように模倣されるかの関連について検討する。
ヒトに見られる様々なプライミングの方法と、それらがどのように模倣されるかは、生涯にわたる機械学習では説明できないままであるので、本論文は、我々の生物学的システムと合成システムとの類似性についてよりよく理解する。
- 参考スコア（独自算出の注目度）: 2.363388546004777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order for artificial neural networks to begin accurately mimicking
biological ones, they must be able to adapt to new exigencies without
forgetting what they have learned from previous training. Lifelong learning
approaches to artificial neural networks attempt to strive towards this goal,
yet have not progressed far enough to be realistically deployed for natural
language processing tasks. The proverbial roadblock of catastrophic forgetting
still gate-keeps researchers from an adequate lifelong learning model. While
efforts are being made to quell catastrophic forgetting, there is a lack of
research that looks into the importance of class ordering when training on new
classes for incremental learning. This is surprising as the ordering of
"classes" that humans learn is heavily monitored and incredibly important.
While heuristics to develop an ideal class order have been researched, this
paper examines class ordering as it relates to priming as a scheme for
incremental class learning. By examining the connections between various
methods of priming found in humans and how those are mimicked yet remain
unexplained in life-long machine learning, this paper provides a better
understanding of the similarities between our biological systems and the
synthetic systems while simultaneously improving current practices to combat
catastrophic forgetting. Through the merging of psychological priming practices
with class ordering, this paper is able to identify a generalizable method for
class ordering in NLP incremental learning tasks that consistently outperforms
random class ordering.
- Abstract（参考訳）: ニューラルネットワークが生物学的なものを正しく模倣するためには、過去のトレーニングから学んだことを忘れることなく、新しいエクイジェンシーに適応できなければならない。
ニューラルネットワークに対する生涯学習のアプローチは、この目標に向けて努力するが、自然言語処理タスクに現実的にデプロイされるほど十分に進歩していない。
破滅的な忘れ物という実証的な障害は、適切な生涯学習モデルから研究者を救い出す。
破滅的な忘れを和らげるために努力がされている一方で、インクリメンタル学習のために新しいクラスをトレーニングするときにクラスオーダリングの重要性を検討する研究が欠如している。
これは、人間が学習する"クラス"の順序が重く監視され、非常に重要であるため、驚くべきことです。
理想的なクラスオーダーを開発するためのヒューリスティックスが研究されているが、本論文では、インクリメンタルなクラス学習のためのスキームとしてのプライミングに関連するクラス順序について検討する。
本研究は,ヒトにおける様々なプライミング法と,その再現方法の関連性を検討することによって,生物系と合成系との類似性をよりよく理解するとともに,破滅的忘れと戦うための現在の実践を改良する。
本稿では,nlpインクリメンタル学習タスクにおいて,クラス順序付けと心理的プライミングプラクティスの融合により,ランダムなクラス順序付けを一貫して上回ってクラス順序付けを一般化できる方法を見出した。
関連論文リスト
- Early learning of the optimal constant solution in neural networks and humans [4.016584525313835]
対象関数の学習は、ネットワークが最適定数解(OCS)を学習する初期段階に先立って行われることを示す。
我々は、バイアス項がなくてもOCSの学習が出現し、入力データの一般的な相関によって等価に駆動されることを示す。
我々の研究は、OCSを教師付き誤り訂正学習における普遍的な学習原則として示唆している。
論文 参考訳（メタデータ） (2024-06-25T11:12:52Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - Reset It and Forget It: Relearning Last-Layer Weights Improves Continual and Transfer Learning [2.270857464465579]
この研究は、継続学習と転帰学習をより良く示す表現につながる単純な事前学習メカニズムを特定する。
最後の層における重みの繰り返しのリセットは、私たちが「ザッピング」と呼ぶもので、元々はメタコンチネンタル・ラーニング(メタコンチネンタル・ラーニング)の手順のために設計されていた。
メタラーニングと継続学習の両以上の多くの環境で驚くほど適用可能であることを示す。
論文 参考訳（メタデータ） (2023-10-12T02:52:14Z) - Class-Incremental Learning: A Survey [84.30083092434938]
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。
CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。
ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳（メタデータ） (2023-02-07T17:59:05Z) - Hebbian Continual Representation Learning [9.54473759331265]
継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。
生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
論文 参考訳（メタデータ） (2022-06-28T09:21:03Z) - Continual Learning with Bayesian Model based on a Fixed Pre-trained
Feature Extractor [55.9023096444383]
現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。
人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
論文 参考訳（メタデータ） (2022-04-28T08:41:51Z) - Discriminative Distillation to Reduce Class Confusion in Continual
Learning [57.715862676788156]
クラス混乱は、連続学習における分類性能の低下に寄与する。
本稿では,クラス間の識別的特徴を適切に学習する上で,識別的蒸留戦略を提案する。
論文 参考訳（メタデータ） (2021-08-11T12:46:43Z) - Incremental Deep Neural Network Learning using Classification Confidence
Thresholding [4.061135251278187]
分類のための現代のニューラルネットワークのほとんどは、未知の概念を考慮していない。
本稿では,逐次学習のための素数ニューラルネットワークに対する分類信頼度閾値アプローチを提案する。
論文 参考訳（メタデータ） (2021-06-21T22:46:28Z) - Does Continual Learning = Catastrophic Forgetting? [21.77693101142049]
我々は、継続的に学習するときに破滅的な忘れに苦しむことのない一連のタスクを提示する。
また,クラスインクリメンタルな分類学習タスクにおいて,最先端の手法に勝る新しいアルゴリズムであるyassを導入する。
最後に、連続モデルにおける表現学習のダイナミクスを追跡する新しいツールであるDyRTを提案する。
論文 参考訳（メタデータ） (2021-01-18T19:29:12Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Few-Shot Class-Incremental Learning [68.75462849428196]
本稿では,FSCIL問題に焦点をあてる。
FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。
我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
論文 参考訳（メタデータ） (2020-04-23T03:38:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。