論文の概要: Dynamic Transformer Architecture for Continual Learning of Multimodal
Tasks
- arxiv url: http://arxiv.org/abs/2401.15275v1
- Date: Sat, 27 Jan 2024 03:03:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 19:15:26.313514
- Title: Dynamic Transformer Architecture for Continual Learning of Multimodal
Tasks
- Title（参考訳）: マルチモーダルタスクの連続学習のための動的トランスフォーマーアーキテクチャ
- Authors: Yuliang Cai and Mohammad Rostami
- Abstract要約: トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。
連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。
本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 27.59758964060561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer neural networks are increasingly replacing prior architectures in
a wide range of applications in different data modalities. The increasing size
and computational demands of fine-tuning large pre-trained transformer neural
networks pose significant challenges for the widespread adoption of these
models for applications that demand on-edge computing. To tackle this
challenge, continual learning (CL) emerges as a solution by facilitating the
transfer of knowledge across tasks that arrive sequentially for an autonomously
learning agent. However, current CL methods mainly focus on learning tasks that
are exclusively vision-based or language-based. We propose a transformer-based
CL framework focusing on learning tasks that involve both vision and language,
known as Vision-and-Language (VaL) tasks. Due to the success of transformers in
other modalities, our architecture has the potential to be used in multimodal
learning settings. In our framework, we benefit from introducing extra
parameters to a base transformer to specialize the network for each task. As a
result, we enable dynamic model expansion to learn several tasks in a sequence.
We also use knowledge distillation to benefit from relevant past experiences to
learn the current task more efficiently. Our proposed method, Task Attentive
Multimodal Continual Learning (TAM-CL), allows for the exchange of information
between tasks while mitigating the problem of catastrophic forgetting. Notably,
our approach is scalable, incurring minimal memory and time overhead. TAM-CL
achieves state-of-the-art (SOTA) performance on challenging multimodal tasks
- Abstract（参考訳）: トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換えつつある。
大規模トレーニング済みのトランスフォーマーニューラルネットワークのサイズと計算要求の増大は、エッジコンピューティングを必要とするアプリケーションにこれらのモデルを広く採用する上で大きな課題となっている。
この課題に対処するために、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、継続学習(CL)がソリューションとして現れる。
しかし、現在のCL手法は主に視覚ベースまたは言語ベースの学習タスクに焦点を当てている。
本稿では,視覚と言語の両方を含む学習タスクに焦点をあてたトランスフォーマティブなclフレームワークを提案する。
他のモダリティにおけるトランスフォーマーの成功により、我々のアーキテクチャはマルチモーダルな学習環境に利用できる可能性がある。
このフレームワークでは,タスク毎にネットワークを専門化するために,ベーストランスフォーマーに余分なパラメータを導入することで恩恵を受ける。
その結果、動的モデル拡張により、複数のタスクをシーケンスで学習することができる。
また、過去の経験から得られる知識の蒸留を利用して、現在の課題をより効率的に学習する。
提案手法であるtam-cl(task attentive multimodal continual learning)は,タスク間の情報交換を可能とし,破滅的な記憶の問題を緩和する。
特に、私たちのアプローチはスケーラブルで、最小限のメモリと時間オーバーヘッドが発生します。
tam-clがマルチモーダルタスクに挑戦して最先端(sota)性能を達成
関連論文リスト
- How does Multi-Task Training Affect Transformer In-Context Capabilities? Investigations with Function Classes [6.652837942112205]
大規模言語モデル(LLM)は、テキストとして提供される少数の例に基づいて、目に見えないタスクを実行するという異常な能力を示している。
我々は、ICLモデルによるデータ効率の向上と、より安定した収束を実現するための効果的なカリキュラム学習戦略をいくつか提案する。
実験の結果, ICLモデルでは, 従来の課題を混在させながら, 段階的に難しいタスクを学習することで, 難易度を効果的に学習できることが判明した。
論文 参考訳（メタデータ） (2024-04-04T16:15:23Z) - Mastering Robot Manipulation with Multimodal Prompts through Pretraining and Multi-task Fine-tuning [49.92517970237088]
我々はマルチモーダルなプロンプトを理解するためにロボットを訓練する問題に取り組む。
このようなタスクは、視覚と言語信号の相互接続と相補性を理解するロボットの能力にとって大きな課題となる。
マルチモーダルプロンプトを用いてロボット操作を行うためのポリシーを学習する効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-14T22:24:58Z) - Task-Attentive Transformer Architecture for Continual Learning of
Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。
バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。
私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
論文 参考訳（メタデータ） (2023-03-25T10:16:53Z) - Continual Learning via Learning a Continual Memory in Vision Transformer [7.116223171323158]
視覚変換器(ViT)を用いたタスク増分連続学習(TCL)について検討する。
私たちのゴールは、タスクのシナジーを学習することで、悲惨な忘れをすることなく、ストリーミングタスク全体のパフォーマンスを改善することです。
タスクシナジーを効果的に学習するための階層型タスクシネギー探索-探索(HEE)サンプリングベースニューラルアーキテクチャサーチ(NAS)手法を提案する。
論文 参考訳（メタデータ） (2023-03-14T21:52:27Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-19T12:15:31Z) - Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。
合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。
次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文 参考訳（メタデータ） (2021-09-15T21:19:11Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳（メタデータ） (2021-03-25T01:48:14Z) - UPDeT: Universal Multi-agent Reinforcement Learning via Policy
Decoupling with Transformers [108.92194081987967]
タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。
従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。
提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
論文 参考訳（メタデータ） (2021-01-20T07:24:24Z) - Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。
深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文 参考訳（メタデータ） (2020-09-10T19:31:04Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。