論文の概要: Learn it or Leave it: Module Composition and Pruning for Continual Learning

• arxiv url: http://arxiv.org/abs/2406.18708v1
• Date: Wed, 26 Jun 2024 19:18:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 16:06:39.748315
• Title: Learn it or Leave it: Module Composition and Pruning for Continual Learning
• Title（参考訳）: 学ぶか、残すか:継続的な学習のためのモジュール構成とプルーニング
• Authors: Mingyang Wang, Heike Adel, Lukas Lange, Jannik Strötgen, Hinrich Schütze,
• Abstract要約: MoCL-Pは知識統合と計算オーバーヘッドのバランスをとる軽量な連続学習手法である。 評価の結果,MoCL-Pは最先端性能を実現し,パラメータ効率を最大3倍向上することがわかった。
• 参考スコア（独自算出の注目度）: 48.07144492109635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In real-world environments, continual learning is essential for machine learning models, as they need to acquire new knowledge incrementally without forgetting what they have already learned. While pretrained language models have shown impressive capabilities on various static tasks, applying them to continual learning poses significant challenges, including avoiding catastrophic forgetting, facilitating knowledge transfer, and maintaining parameter efficiency. In this paper, we introduce MoCL-P, a novel lightweight continual learning method that addresses these challenges simultaneously. Unlike traditional approaches that continuously expand parameters for newly arriving tasks, MoCL-P integrates task representation-guided module composition with adaptive pruning, effectively balancing knowledge integration and computational overhead. Our evaluation across three continual learning benchmarks with up to 176 tasks shows that MoCL-P achieves state-of-the-art performance and improves parameter efficiency by up to three times, demonstrating its potential for practical applications where resource requirements are constrained.
• Abstract（参考訳）: 現実の環境では、機械学習モデルには継続的学習が不可欠である。 事前訓練された言語モデルは、様々な静的タスクにおいて印象的な能力を示してきたが、連続的な学習に適用することは、破滅的な忘れの回避、知識伝達の促進、パラメータ効率の維持など、重大な課題を生んでいる。 本稿では,これらの課題に同時に対処する軽量連続学習手法であるMoCL-Pを紹介する。 新しいタスクのパラメータを継続的に拡張する従来のアプローチとは異なり、MoCL-Pはタスク表現誘導モジュール合成と適応的なプルーニングを統合し、知識統合と計算オーバーヘッドを効果的にバランスさせる。 最大176タスクからなる3つの連続学習ベンチマークによる評価の結果、MoCL-Pは最先端性能を実現し、パラメータ効率を最大3倍改善し、リソース要求が制約された実用的なアプリケーションの可能性を示した。

関連論文リスト

• M2Distill: Multi-Modal Distillation for Lifelong Imitation Learning [9.15567555909617]
  M2Distillは、生涯の模倣学習のためのマルチモーダル蒸留に基づく方法である。 我々は、前段階から現在の段階まで、様々なモダリティにわたる潜在表現のシフトを規制する。 学習したポリシーが、新しいスキルをシームレスに統合しながら、以前に学習したタスクを実行する能力を維持していることを保証します。
  論文  参考訳（メタデータ） (2024-09-30T01:43:06Z)
• TaSL: Task Skill Localization and Consolidation for Language Model Continual Learning [41.28933724210434]
  言語モデル継続学習(CL)は、大規模な言語モデル(LLM)を、リトレーニングなしで動的現実のシナリオに適応できる能力に対して、近年大きな関心を集めている。 既存のアプローチでは、複数のパラメータ効率の細かい調整(PEFT)ブロックを使用してタスク固有の知識を取得するが、これらの手法は非効率であり、タスク間の潜在的な知識伝達を利用できない。 本稿では,タスクスキルのローカライゼーションと統合(TaSL)という,言語モデルのための新しいCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• Learning to Learn without Forgetting using Attention [5.6739565497512405]
  継続学習(きゅうがく、Continuous Learning, CL)とは、学習経験を維持しつつ、新たな知識を付加することで、時間とともに継続的に学習する能力である。 現在の機械学習手法は、以前に学んだパターンを上書きし、過去の経験を忘れやすい。 手作りの効果的な更新機構は難しいため,変圧器をベースとしたメタラーニングによるCLの強化を提案する。
  論文  参考訳（メタデータ） (2024-08-06T14:25:23Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Rehearsal-Free Modular and Compositional Continual Learning for Language Models [48.07144492109635]
  継続的な学習は、既存の知識を忘れずに、新たな知識を漸進的に獲得することを目的としています。 我々は,リハーサルのないモジュール型および構成型連続学習フレームワークであるMoCLを提案する。
  論文  参考訳（メタデータ） (2024-03-31T20:28:44Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。