論文の概要: Eidetic Learning: an Efficient and Provable Solution to Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2502.09500v2
• Date: Fri, 14 Feb 2025 14:39:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:45:12.032442
• Title: Eidetic Learning: an Efficient and Provable Solution to Catastrophic Forgetting
• Title（参考訳）: Eidetic Learning: カタストロフィック・フォーミングの効率的かつ予測可能なソリューション
• Authors: Nicholas Dronen, Randall Balestriero,
• Abstract要約: 本稿では,破滅的な忘れを確実に解決する方法であるEidetic Learningを提案する。 Eidetic Learningでトレーニングされたネットワーク – ここではEideticNet – は、リハーサルやリプレイを必要としない。 EideticNetは実装とトレーニングが容易で、効率的で、パラメータの数で時間と空間の複雑さが線形である。
• 参考スコア（独自算出の注目度）: 13.412573082645096
• License:
• Abstract: Catastrophic forgetting -- the phenomenon of a neural network learning a task t1 and losing the ability to perform it after being trained on some other task t2 -- is a long-standing problem for neural networks [McCloskey and Cohen, 1989]. We present a method, Eidetic Learning, that provably solves catastrophic forgetting. A network trained with Eidetic Learning -- here, an EideticNet -- requires no rehearsal or replay. We consider successive discrete tasks and show how at inference time an EideticNet automatically routes new instances without auxiliary task information. An EideticNet bears a family resemblance to the sparsely-gated Mixture-of-Experts layer Shazeer et al. [2016] in that network capacity is partitioned across tasks and the network itself performs data-conditional routing. An EideticNet is easy to implement and train, is efficient, and has time and space complexity linear in the number of parameters. The guarantee of our method holds for normalization layers of modern neural networks during both pre-training and fine-tuning. We show with a variety of network architectures and sets of tasks that EideticNets are immune to forgetting. While the practical benefits of EideticNets are substantial, we believe they can be benefit practitioners and theorists alike. The code for training EideticNets is available at https://github.com/amazon-science/eideticnet-training.
• Abstract（参考訳）: ニューラルネットワークがタスクt1を学習し、他のタスクt2でトレーニングされた後にそれを実行する能力を失う破滅的な忘れは、ニューラルネットワーク [McCloskey and Cohen, 1989] の長年の問題である。 本稿では,破滅的な忘れを確実に解決する方法であるEidetic Learningを提案する。 Eidetic Learningでトレーニングされたネットワーク – ここではEideticNet – は、リハーサルやリプレイを必要としない。 逐次的な個別タスクを考慮し、EideticNetがタスク情報なしで自動的に新しいインスタンスをルーティングする方法を示す。 EideticNetは、ネットワークのキャパシティがタスク間で分割され、ネットワーク自体がデータ条件のルーティングを実行するという、疎結合なMixture-of-Experts層に類似している。 EideticNetは実装とトレーニングが容易で、効率的で、パラメータの数で時間と空間の複雑さが線形である。 提案手法の保証は,事前学習と微調整の両段階において,現代のニューラルネットワークの正規化層を規定する。 EideticNetsが忘れてはならない、さまざまなネットワークアーキテクチャとタスクセットを示します。 EideticNetsの実践的なメリットはかなりありますが、実践者や理論家にもメリットがあると考えています。 EideticNetsのトレーニングコードはhttps://github.com/amazon-science/eideticnet-trainingで公開されている。

関連論文リスト

• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Truly Sparse Neural Networks at Scale [2.2860412844991655]
  私たちは、表現力の観点から訓練された史上最大のニューラルネットワークをトレーニングします。 われわれのアプローチは、環境に優しい人工知能時代の道を歩みながら、最先端の性能を持っている。
  論文  参考訳（メタデータ） (2021-02-02T20:06:47Z)
• HALO: Learning to Prune Neural Networks with Shrinkage [5.283963846188862]
  ディープニューラルネットワークは、構造化されていないデータから豊富な特徴セットを抽出することにより、さまざまなタスクで最先端のパフォーマンスを実現する。 提案手法は,(1)ネットワークプルーニング,(2)スパシティ誘導ペナルティによるトレーニング,(3)ネットワークの重みと連動してバイナリマスクをトレーニングすることである。 トレーニング可能なパラメータを用いて、与えられたネットワークの重みを適応的に分散化することを学ぶ階層適応ラッソ(Hierarchical Adaptive Lasso)という新しいペナルティを提案する。
  論文  参考訳（メタデータ） (2020-08-24T04:08:48Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。