論文の概要: Continual Sequence Generation with Adaptive Compositional Modules

• arxiv url: http://arxiv.org/abs/2203.10652v1
• Date: Sun, 20 Mar 2022 21:22:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 14:09:18.780195
• Title: Continual Sequence Generation with Adaptive Compositional Modules
• Title（参考訳）: 適応構成モジュールを用いた連続シーケンス生成
• Authors: Yanzhe Zhang, Xuezhi Wang and Diyi Yang
• Abstract要約: 継続シーケンス生成に関する既存の作業は、常に既存のパラメータを再利用して新しいタスクを学習するか、新しいタスク毎に新しいパラメータを盲目的に追加する。 適応的な構成モジュールによる連続的なシーケンス生成を提案し、トランスフォーマーアーキテクチャにモジュールを適応的に追加し、新しいタスクのために古いモジュールと新しいモジュールの両方を構成する。 実験の結果、我々のフレームワークはタスクの類似性に基づいてモジュールや再利用モジュールを適応的に追加でき、性能とパラメータの効率の両面において最先端のベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 47.508560311568345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning is essential for real-world deployment when there is a need to quickly adapt the model to new tasks without forgetting knowledge of old tasks. Existing work on continual sequence generation either always reuses existing parameters to learn new tasks, which is vulnerable to catastrophic forgetting on dissimilar tasks, or blindly adds new parameters for every new task, which could prevent knowledge sharing between similar tasks. To get the best of both worlds, in this work, we propose continual sequence generation with adaptive compositional modules to adaptively add modules in transformer architectures and compose both old and new modules for new tasks. We also incorporate pseudo experience replay to facilitate knowledge transfer in those shared modules. Experiment results on various sequences of generation tasks show that our framework can adaptively add modules or reuse modules based on task similarity, outperforming state-of-the-art baselines in terms of both performance and parameter efficiency. We make our code public at https://github.com/GT-SALT/Adaptive-Compositional-Modules.
• Abstract（参考訳）: 古いタスクの知識を忘れずにモデルを新しいタスクに迅速に適用する必要がある場合、継続的学習は現実世界のデプロイメントに不可欠です。 既存の連続シーケンス生成の作業は、常に既存のパラメータを再利用して新しいタスクを学ぶか、異種タスクを忘れてしまう破滅的な問題に弱いか、あるいは新しいタスク毎に新しいパラメータを盲目的に追加する。 そこで本研究では,トランスフォーマーアーキテクチャでモジュールを適応的に追加し,新しいタスクのために古いモジュールと新しいモジュールを合成するために,適応型合成モジュールを用いた連続シーケンス生成を提案する。 また,共有モジュールにおける知識伝達を容易にするために,擬似体験リプレイも組み込んだ。 様々な生成タスクにおける実験結果から,提案フレームワークはタスクの類似性に基づいてモジュールや再利用モジュールを適応的に追加し,性能とパラメータ効率の両面で最先端のベースラインを上回ることができることがわかった。 コードをhttps://github.com/GT-SALT/Adaptive-Compositional-Modulesで公開しています。

関連論文リスト

• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and reusing ModulEs [64.49176353858792]
  本稿では,モジュールの増殖・再利用による生成的ニューロシンボリック視覚推論を提案する。 提案モデルは,視覚的質問応答や表現理解の参照など,標準的なタスクに対して競合的に機能する。 いくつかのトレーニング例を観察し、モジュールを再使用することで、新しい視覚的推論タスクに適応することができる。
  論文  参考訳（メタデータ） (2023-11-08T18:59:05Z)
• FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
  本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。 大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。 最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
  論文  参考訳（メタデータ） (2023-07-10T21:08:52Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks [13.308477955656592]
  本稿では,ResNetの等尺バージョンに基づくモジュールネットワーク学習手法を提案する。 本手法では,モジュールを繰り返し呼び出すことができ,新しいタスクへの知識伝達を可能にする。 本手法は,マルチタスク学習,移動学習,ドメイン適応の場合に,モジュールの解釈可能な自己組織化につながることを示す。
  論文  参考訳（メタデータ） (2021-07-23T00:05:55Z)
• Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks [37.2958914602899]
  共有ハイパーネットワークを用いて、すべてのレイヤやタスクのアダプタパラメータを生成できることを示す。 よく知られたGLUEベンチマークの実験では、タスク当たり0.29%のパラメータしか追加することなく、マルチタスク学習のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2021-06-08T16:16:40Z)
• Efficient Continual Learning with Modular Networks and Task-Driven Priors [31.03712334701338]
  継続学習(CL)における既存の文献は、破滅的な忘れを克服することに焦点を当てている。 新しいモジュールアーキテクチャを導入し、モジュールは特定のタスクを実行するために構成できる原子スキルを表す。 学習アルゴリズムは,モジュールを結合するあらゆる方法の指数関数探索空間上でタスク駆動前処理を活用し,タスクの長いストリームでの効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2020-12-23T12:42:16Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。