論文の概要: Transforming Transformers for Resilient Lifelong Learning
- arxiv url: http://arxiv.org/abs/2303.08250v3
- Date: Tue, 3 Oct 2023 14:22:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 10:52:15.972758
- Title: Transforming Transformers for Resilient Lifelong Learning
- Title(参考訳): 回復型生涯学習のためのトランスフォーマー
- Authors: Chinmay Savadikar, Michelle Dai, Tianfu Wu
- Abstract要約: 破滅的な記憶のない生涯学習(レジリエンス)は、ディープニューラルネットワークにとってオープンな問題である。
本研究では,視覚変換器(ViTs)のArtiHippoを,回復力のある生涯学習のために識別し,学習する手法を提案する。
- 参考スコア(独自算出の注目度): 7.997921693184347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lifelong learning without catastrophic forgetting (i.e., resiliency) remains
an open problem for deep neural networks. The prior art mostly focuses on
convolutional neural networks. With the increasing dominance of Transformers in
deep learning, it is a pressing need to study lifelong learning with
Transformers. Due to the complexity of training Transformers in practice, for
lifelong learning, a question naturally arises: Can Transformers be learned to
grow in a task aware way, that is to be dynamically transformed by introducing
lightweight learnable plastic components to the architecture, while retaining
the parameter-heavy, but stable components at streaming tasks? To that end,
motivated by the lifelong learning capability maintained by the functionality
of Hippocampi in human brain, we explore what would be, and how to implement,
Artificial Hippocampi (ArtiHippo) in Transformers. We present a method to
identify, and learn to grow, ArtiHippo in Vision Transformers (ViTs) for
resilient lifelong learning in four aspects: (i) Where to place ArtiHippo to
enable plasticity while preserving the core function of ViTs at streaming
tasks? (ii) How to represent and realize ArtiHippo to ensure expressivity and
adaptivity for tackling tasks of different nature in lifelong learning? (iii)
How to learn to grow ArtiHippo to exploit task synergies (i.e., the learned
knowledge) and overcome catastrophic forgetting? (iv) How to harness the best
of our proposed ArtiHippo and prompting-based approaches? In experiments, we
test the proposed method on the challenging Visual Domain Decathlon (VDD)
benchmark and the 5-Dataset benchmark under the task-incremental lifelong
learning setting. It obtains consistently better performance than the prior art
with sensible ArtiHippo learned continually. To our knowledge, it is the first
attempt of lifelong learning with ViTs on the challenging VDD benchmark.
- Abstract(参考訳): 破滅的な記憶のない生涯学習(レジリエンス)は、ディープニューラルネットワークにとってオープンな問題である。
先行技術は主に畳み込みニューラルネットワークに焦点を当てている。
深層学習におけるトランスフォーマーの優位性の高まりに伴い,トランスフォーマーを用いた生涯学習研究の必要性が高まっている。
トランスフォーマーは、タスクを意識した方法で成長することを学べる。これは、軽量の学習可能なプラスチックコンポーネントをアーキテクチャに導入し、パラメータが重いが安定したコンポーネントをストリーミングタスクで維持することによって、動的に変換できる。
その目的のために,人間の脳における海馬の機能によって維持される生涯学習能力に動機づけられ,トランスフォーマーにおける人工海馬(artihippo)の実装について検討する。
視覚変換器(ViTs)におけるArtiHippoを,4つの側面のレジリエンスな生涯学習のために同定し,成長させる方法を提案する。
i) ストリーミングタスクにおいて、ViTのコア機能を保ちながら可塑性を実現するためにArtiHippoをどこに配置するか。
(ii)生涯学習における異なる性質の課題に取り組むための表現性と適応性を確保するためのアルティヒッポの表現と実現方法
(三)タスクシナジー(すなわち学習知識)を活用して破滅的な忘れを克服するためにArtiHippoをどう成長させるか。
(4)提案したArtiHippoとプロンプトベースのアプローチを最大限に活用する方法。
実験では,課題領域decathlon(vdd)ベンチマークと5データセットベンチマークを用いて,タスクインクリメンタルな生涯学習環境下で提案手法をテストした。
相変わらず学び続ける有能なアーティヒッポよりも一貫して優れたパフォーマンスを得る。
我々の知る限り、これは挑戦的なVDDベンチマークでVTで生涯学習する最初の試みである。
関連論文リスト
- BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human
Racing Gameplay [51.66557720632042]
模倣学習は、手作りの報酬関数を必要とせずに、デモンストレーションからポリシーを学ぶ。
本稿では,BeTAIL: Behavior Transformer Adversarial Imitation Learningを提案する。
我々は,Gran Turismo Sportにおけるリアルヒューマンゲームプレイのエキスパートレベルのデモンストレーションで,BeTAILを3つの課題でテストした。
論文 参考訳(メタデータ) (2024-02-22T00:38:43Z) - Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。
我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。
我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
論文 参考訳(メタデータ) (2023-10-04T17:59:38Z) - Breaking through the learning plateaus of in-context learning in
Transformer [46.73131236261085]
文脈学習(In-context learning)、すなわち文脈の例から学ぶことは、Transformerの印象的な能力である。
この文脈内学習スキルを持つための学習用トランスフォーマーは、学習台地の発生により、計算集約的である。
論文 参考訳(メタデータ) (2023-09-12T08:45:25Z) - BiRT: Bio-inspired Replay in Vision Transformers for Continual Learning [13.056764072568749]
人間は、破滅的な忘れ物なしに、生涯を通してタスクを通して知識を取得し、同化し、伝達する驚くべき能力を持っている。
視覚変換器を用いた表現リハーサルに基づく連続学習手法であるBiRTを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:19:39Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳(メタデータ) (2022-12-15T09:21:21Z) - What do Vision Transformers Learn? A Visual Exploration [68.50771218442776]
視覚変換器(ViT)はコンピュータビジョンのデファクトアーキテクチャとして急速に普及しつつある。
本稿では、ViT上での可視化の障害に対処し、ViTとCNNの根本的な相違について検討する。
また、DeiT、CoaT、ConViT、PiT、Swin、Twinなど、さまざまなViT変種に対して大規模な可視化を行っています。
論文 参考訳(メタデータ) (2022-12-13T16:55:12Z) - Meta-attention for ViT-backed Continual Learning [35.31816553097367]
視覚変換器(ViT)はコンピュータビジョンの分野を徐々に支配している。
ViTは、CNNベースの連続学習に簡単に適用すれば、深刻なパフォーマンス劣化に悩まされる可能性がある。
学習済みのタスクのパフォーマンスを犠牲にすることなく、トレーニング済みのViTを新しいタスクに適用するためのMeta-Atention(MEAT)を提案する。
論文 参考訳(メタデータ) (2022-03-22T12:58:39Z) - Episodic Transformer for Vision-and-Language Navigation [142.6236659368177]
本稿では,長時間のサブタスク処理と複雑なヒューマンインストラクションの理解という2つの課題に取り組むことに焦点を当てる。
エピソード変換器(E.T.)を提案する。
言語入力と視覚観察と行動の全エピソード履歴を符号化するマルチモーダルトランスフォーマーである。
我々のアプローチは、挑戦的なALFREDベンチマークに新たな技術状況を設定し、見つからないテストの分割で38.4%と8.5%のタスク成功率を達成した。
論文 参考訳(メタデータ) (2021-05-13T17:51:46Z) - An Empirical Study of Training Self-Supervised Visual Transformers [70.27107708555185]
自己監視型視覚トランスフォーマーの訓練におけるいくつかの基本成分の影響について検討する。
これらの結果は確かに部分的な失敗であり、トレーニングをより安定させると改善できる。
論文 参考訳(メタデータ) (2021-04-05T17:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。