論文の概要: Efficient Rehearsal Free Zero Forgetting Continual Learning using Adaptive Weight Modulation

• arxiv url: http://arxiv.org/abs/2311.15276v1
• Date: Sun, 26 Nov 2023 12:36:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 18:34:35.093957
• Title: Efficient Rehearsal Free Zero Forgetting Continual Learning using Adaptive Weight Modulation
• Title（参考訳）: 適応重み変調を用いた高能率リハーサル自由ゼロ学習
• Authors: Yonatan Sverdlov, Shimon Ullman
• Abstract要約: 継続的な学習には、長期にわたって複数のタスクの知識を取得することが含まれる。 この問題に対するほとんどのアプローチは、新しいタスクのパフォーマンスを最大化することと、以前のタスクの忘れを最小化することのバランスを求める。 提案手法は,新しいタスクの性能を最大化しつつ,忘れることのゼロを保証しようとするものである。
• 参考スコア（独自算出の注目度）: 3.6683171094134805
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Artificial neural networks encounter a notable challenge known as continual learning, which involves acquiring knowledge of multiple tasks over an extended period. This challenge arises due to the tendency of previously learned weights to be adjusted to suit the objectives of new tasks, resulting in a phenomenon called catastrophic forgetting. Most approaches to this problem seek a balance between maximizing performance on the new tasks and minimizing the forgetting of previous tasks. In contrast, our approach attempts to maximize the performance of the new task, while ensuring zero forgetting. This is accomplished by creating a task-specific modulation parameters for each task. Only these would be learnable parameters during learning of consecutive tasks. Through comprehensive experimental evaluations, our model demonstrates superior performance in acquiring and retaining novel tasks that pose difficulties for other multi-task models. This emphasizes the efficacy of our approach in preventing catastrophic forgetting while accommodating the acquisition of new tasks
• Abstract（参考訳）: ニューラルネットワークは、連続学習(continuous learning)として知られる、長期にわたる複数のタスクの知識獲得という、注目すべき課題に直面している。 この課題は、新しいタスクの目的に合うように前もって学習した重量を調整する傾向から生じ、破滅的な忘れという現象を引き起こす。 この問題に対するほとんどのアプローチは、新しいタスクのパフォーマンスを最大化することと、以前のタスクの忘れを最小化することのバランスを求める。 対照的に、私たちのアプローチは、忘れることなく、新しいタスクのパフォーマンスを最大化しようとしています。 これは各タスクに対してタスク固有の変調パラメータを作成することで実現される。 これらは連続したタスクの学習中に学習可能なパラメータである。 総合的な実験評価を行い,他のマルチタスクモデルに困難をもたらす新しいタスクの獲得と保持において優れた性能を示す。 これは、新たなタスクの獲得を伴いながら、破滅的な忘れを予防するためのアプローチの有効性を強調します。

関連論文リスト

• Efficient Multi-task Prompt Tuning for Recommendation [44.494367787067006]
  本稿では,タスク非依存とトレーニング効率の問題に対処するため,新しい2段階のプロンプトチューニングMTLフレームワーク(MPT-Rec)を提案する。 MPT-Rec は SOTA マルチタスク学習法と比較して最高の性能を達成している。
  論文  参考訳（メタデータ） (2024-08-30T11:38:51Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Minimax Forward and Backward Learning of Evolving Tasks with Performance Guarantees [6.008132390640294]
  タスクの増え続けるシーケンスの漸進的な学習は、正確な分類を可能にすることを約束する。 本稿では,前向き学習と後向き学習を効果的に活用するインクリメンタルミニマックスリスク分類器(IMRC)を提案する。 IMRCは、特にサンプルサイズを減らすために、大幅な性能改善をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-10-24T16:21:41Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Learning Options via Compression [62.55893046218824]
  そこで本研究では,スキル記述長に対するペナルティと,最大限の目標を組み合わさった新たな目的を提案する。 我々の目的は、最大化可能性のみから学んだスキルと比較して、下流のタスクを少ないサンプルで解くスキルを学ぶことである。
  論文  参考訳（メタデータ） (2022-12-08T22:34:59Z)
• Neural Weight Search for Scalable Task Incremental Learning [6.413209417643468]
  タスクインクリメンタル学習は,新たなタスクを学習しながら,それまでの学習したタスクのパフォーマンスを維持することを目的として,破滅的な忘れを解消する。 有望なアプローチの1つは、将来のタスクのために個々のネットワークやサブネットワークを構築することである。 これにより、新しいタスクに対する余分な負担を省き、この問題に対処する方法がタスクインクリメンタルな学習においてオープンな問題として残されているため、メモリの増大が続く。
  論文  参考訳（メタデータ） (2022-11-24T23:30:23Z)
• The Effect of Task Ordering in Continual Learning [12.571389210876315]
  再注文タスクが破滅的忘れの量に大きく影響していることが示される。 本研究では,タスクオーダリングの効果を利用して連続的な学習性能を変化させることを示す。
  論文  参考訳（メタデータ） (2022-05-26T12:56:15Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
  私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。 アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。 私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
  論文  参考訳（メタデータ） (2021-04-18T10:41:56Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。