論文の概要: Achieving Forgetting Prevention and Knowledge Transfer in Continual Learning

• arxiv url: http://arxiv.org/abs/2112.02706v1
• Date: Sun, 5 Dec 2021 23:13:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 08:45:04.846343
• Title: Achieving Forgetting Prevention and Knowledge Transfer in Continual Learning
• Title（参考訳）: 継続的な学習における予防と知識伝達の達成
• Authors: Zixuan Ke, Bing Liu, Nianzu Ma, Hu Xu, Lei Shu
• Abstract要約: 連続学習は、破滅的忘れ(CF)の克服と知識伝達(KT)の2つの目的を達成するために、一連のタスクを学習する 既存の技術のほとんどはCFを克服することだけに重点を置いており、KTを促進するメカニズムがないため、KTではうまく機能しない。 本稿ではこれらの問題を解決するために,CTRと呼ばれる新しいモデルを提案する。
• 参考スコア（独自算出の注目度）: 22.83874590642864
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Continual learning (CL) learns a sequence of tasks incrementally with the goal of achieving two main objectives: overcoming catastrophic forgetting (CF) and encouraging knowledge transfer (KT) across tasks. However, most existing techniques focus only on overcoming CF and have no mechanism to encourage KT, and thus do not do well in KT. Although several papers have tried to deal with both CF and KT, our experiments show that they suffer from serious CF when the tasks do not have much shared knowledge. Another observation is that most current CL methods do not use pre-trained models, but it has been shown that such models can significantly improve the end task performance. For example, in natural language processing, fine-tuning a BERT-like pre-trained language model is one of the most effective approaches. However, for CL, this approach suffers from serious CF. An interesting question is how to make the best use of pre-trained models for CL. This paper proposes a novel model called CTR to solve these problems. Our experimental results demonstrate the effectiveness of CTR
• Abstract（参考訳）: 連続学習(CL)は、破滅的忘れ(CF)の克服とタスク間の知識伝達(KT)の促進という2つの主要な目標を達成することを目的として、段階的に一連のタスクを学習する。 しかし、既存のほとんどの技術はCFの克服にのみ焦点を合わせており、KTを奨励するメカニズムがないため、KTではうまく機能しない。 CFとKTの両方に対処しようとする論文はいくつかあるが、我々の実験では、タスクが多くの共有知識を持っていない場合に深刻なCFに悩まされることが示されている。 別の観察では、現在のCL法は事前訓練されたモデルを使用しないが、そのようなモデルがタスクの終了性能を大幅に改善できることが示されている。 例えば、自然言語処理では、BERTのような事前訓練言語モデルを微調整することが最も効果的な手法の1つである。 しかし、CLの場合、このアプローチは深刻なCFに悩まされる。 興味深い疑問は、CLのために事前訓練されたモデルを最大限に活用する方法である。 本稿ではこれらの問題を解決するために,CTRと呼ばれる新しいモデルを提案する。 実験結果からCTRの有効性が示された。

関連論文リスト

• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• A Comprehensive Study of Privacy Risks in Curriculum Learning [25.57099711643689]
  有意義な順序でデータで機械学習モデルをトレーニングすることは、トレーニングプロセスの加速に有効であることが証明されている。 重要な実現技術はカリキュラム学習(CL)であり、大きな成功を収め、画像やテキストの分類などの分野に展開されてきた。 しかし、CLが機械学習のプライバシーにどのように影響するかは不明だ。
  論文  参考訳（メタデータ） (2023-10-16T07:06:38Z)
• Sub-network Discovery and Soft-masking for Continual Learning of Mixed Tasks [46.96149283885802]
  本稿では,CFおよび/または制限KTを克服する新しいCL法を提案する。 サブネットワークを発見して各タスクの知識を分離することでCFを克服する。 従来の知識を保存し、新しいタスクが過去の知識を活用してKTを達成できるようにするため、ソフトマスキング機構も提案されている。
  論文  参考訳（メタデータ） (2023-10-13T23:00:39Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
  既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。 コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。 本稿では,CLに対する事前学習の体系的導入を提唱する。
  論文  参考訳（メタデータ） (2022-10-27T18:03:37Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)
• Fine-grained Angular Contrastive Learning with Coarse Labels [72.80126601230447]
  教師付きおよび自己監督型コントラスト前訓練を効果的に組み合わせることができる新しい「Angularの正規化」モジュールを紹介します。 この研究は、C2FS分類のこの新しい、挑戦的で、非常に実用的なトピックに関する将来の研究の道を開くのに役立ちます。
  論文  参考訳（メタデータ） (2020-12-07T08:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。