論文の概要: Linked Adapters: Linking Past and Future to Present for Effective Continual Learning

• arxiv url: http://arxiv.org/abs/2412.10687v1
• Date: Sat, 14 Dec 2024 05:25:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:00:02.684903
• Title: Linked Adapters: Linking Past and Future to Present for Effective Continual Learning
• Title（参考訳）: Linked Adapters: 効果的な継続的学習のための過去と未来をリンクする
• Authors: Dupati Srikar Chandra, P. K. Srijith, Dana Rezazadegan, Chris McCarthy,
• Abstract要約: 継続的な学習により、システムは、以前のタスクから得た知識を維持しながら、新しいタスクを学習し、適応することができる。 ディープラーニングモデルは、新しいタスクを学習しながら、以前のタスクから学んだ知識を破滅的に忘れてしまう。 本稿では,他のタスク固有のアダプタに重み付けされた注意機構を通じて知識を伝達する手法を提案する。
• 参考スコア（独自算出の注目度）: 3.7166121807265045
• License:
• Abstract: Continual learning allows the system to learn and adapt to new tasks while retaining the knowledge acquired from previous tasks. However, deep learning models suffer from catastrophic forgetting of knowledge learned from earlier tasks while learning a new task. Moreover, retraining large models like transformers from scratch for every new task is costly. An effective approach to address continual learning is to use a large pre-trained model with task-specific adapters to adapt to the new tasks. Though this approach can mitigate catastrophic forgetting, they fail to transfer knowledge across tasks as each task is learning adapters separately. To address this, we propose a novel approach Linked Adapters that allows knowledge transfer through a weighted attention mechanism to other task-specific adapters. Linked adapters use a multi-layer perceptron (MLP) to model the attention weights, which overcomes the challenge of backward knowledge transfer in continual learning in addition to modeling the forward knowledge transfer. During inference, our proposed approach effectively leverages knowledge transfer through MLP-based attention weights across all the lateral task adapters. Through numerous experiments conducted on diverse image classification datasets, we effectively demonstrated the improvement in performance on the continual learning tasks using Linked Adapters.
• Abstract（参考訳）: 継続的な学習により、システムは、以前のタスクから得た知識を維持しながら、新しいタスクを学習し、適応することができる。 しかし、ディープラーニングモデルは、新しいタスクを学習しながら、以前のタスクから学んだ知識を破滅的に忘れてしまう。 さらに、新しいタスク毎にスクラッチからトランスフォーマーのような大きなモデルをトレーニングするのもコストがかかる。 継続学習に対処するための効果的なアプローチは、タスク固有のアダプタを備えた大規模な事前学習モデルを使用して、新しいタスクに適応することである。 このアプローチは破滅的な忘れを軽減できるが、各タスクがアダプタを個別に学習しているため、タスク間での知識伝達に失敗する。 そこで本研究では,他のタスク固有のアダプタに重み付けされたアテンション機構を通じて知識を伝達できる新しい手法であるLinked Adaptersを提案する。 リンクされたアダプタは、多層パーセプトロン(MLP)を用いて注意重みをモデル化し、前方知識伝達のモデル化に加えて、連続学習における後方知識伝達の課題を克服する。 推論において,提案手法は,MLPに基づく全タスクアダプタ間の注意重みによる知識伝達を効果的に活用する。 多様な画像分類データセットを用いた多数の実験を通して,Linked Adapter を用いた連続学習タスクの性能向上を効果的に実証した。

関連論文リスト

• Auto-selected Knowledge Adapters for Lifelong Person Re-identification [54.42307214981537]
  Lifelong Person Re-Identificationは、異なる時間と場所にわたる重複しないデータセットから継続的に学習するシステムを必要とする。 リハーサルのない、あるいはリハーサルベースの既存のアプローチは、依然として破滅的な忘れ込みの問題に悩まされている。 本稿では,知識アダプタを採用した新しいフレームワークであるAdalReIDと,生涯学習のためのパラメータフリー自動選択機構を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:42:02Z)
• I2I: Initializing Adapters with Improvised Knowledge [15.452979531094567]
  改善。 連続学習アルゴリズムであるI2LiIは、蒸留により入ってくるタスクに対するアダプタを初期化する。 以前学習したタスク。 I2Iは独立に訓練されたアダプタよりも優れたタスク精度を実現している。
  論文  参考訳（メタデータ） (2023-04-04T23:51:48Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• Adaptive Transfer Learning on Graph Neural Networks [4.233435459239147]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データの強力な表現を学ぶために広く利用されている。 近年の研究では、自己教師型タスクから下流タスクへの知識伝達により、グラフ表現がさらに改善されることが示されている。 本稿では,GNN 上での移動学習パラダイムを提案する。これは,目標タスクを支援するための補助タスクとして,自己教師型タスクを効果的に活用することができる。
  論文  参考訳（メタデータ） (2021-07-19T11:46:28Z)
• Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
  私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。 アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。 私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
  論文  参考訳（メタデータ） (2021-04-18T10:41:56Z)
• Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
  グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。 既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。 パターン認識型メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T08:06:47Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• AdapterFusion: Non-Destructive Task Composition for Transfer Learning [104.9639614787314]
  逐次微調整とマルチタスク学習は、複数のタスクから知識を取り入れることを目的とした手法である。 本稿では,複数のタスクからの知識を活用する2段階学習アルゴリズムAdapterFusionを提案する。 提案手法は,マルチタスク学習だけでなく,フルチューニングやマルチタスク学習といった従来の戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T07:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。