論文の概要: Learning to Grow Artificial Hippocampi in Vision Transformers for
Resilient Lifelong Learning
- arxiv url: http://arxiv.org/abs/2303.08250v2
- Date: Thu, 25 May 2023 19:24:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 20:21:58.791900
- Title: Learning to Grow Artificial Hippocampi in Vision Transformers for
Resilient Lifelong Learning
- Title(参考訳): 回復型生涯学習のための視覚トランスフォーマーにおける人工海馬育成のための学習
- Authors: Chinmay Savadikar, Michelle Dai, Tianfu Wu
- Abstract要約: 本稿では,視覚変換器(ViT)におけるArtiHippoの学習方法を提案する。
実験では、提案手法は、挑戦的なVisual Domain Decathlon(VDD)ベンチマークと最近提案された5-Datasetベンチマークでテストされる。
- 参考スコア(独自算出の注目度): 7.91996056452393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lifelong learning without catastrophic forgetting (i.e., resiliency)
possessed by human intelligence is entangled with sophisticated memory
mechanisms in the brain, especially the long-term memory (LM) maintained by
Hippocampi. With the dominance of Transformers in deep learning, it is a
pressing need to explore what would be, and how to implement, Artificial
Hippocampi (ArtiHippo) in Transformers. This paper presents a method of
learning to grow ArtiHippo in Vision Transformers (ViTs) for resilient lifelong
learning. We study four aspects: (i) Where to place ArtiHippo in ViTs to enable
plasticity while preserving the core function of ViTs at streaming tasks? (ii)
What representational scheme to use to realize ArtiHippo to ensure expressivity
and adaptivity for tackling tasks of different nature in lifelong learning?
(iii) How to learn to grow ArtiHippo to exploit task synergies and to overcome
catastrophic forgetting? (iv) How to harness the best of our proposed ArtiHippo
and prompting-based approaches? In experiments, the proposed method is tested
on the challenging Visual Domain Decathlon (VDD) benchmark and the recently
proposed 5-Dataset benchmark. It obtains consistently better performance than
the prior art with sensible ArtiHippo learned continually.
- Abstract(参考訳): 人間の知能によって保持される破滅的な記憶(レジリエンス)のない生涯学習は、脳の洗練された記憶機構、特にヒッポカンピが維持する長期記憶(LM)と絡み合っている。
ディープラーニングにおけるトランスフォーマーの優位性により、トランスフォーマーの人工ヒッポカンピ(ArtiHippo)をどのように実装するかを探求する必要が迫られている。
本稿では,視覚変換器(ViT)におけるArtiHippoの学習方法を提案する。
4つの側面を研究しています
i) ViTsの中核機能を維持しながら可塑性を確保するためにArtiHippoをViTsに配置する方法
(ii)生涯学習における異なる性質の課題に取り組むための表現性と適応性を確保するためにアルティヒッポを実現するための表現的スキームはどのようなものか?
(iii)課題シナジーを活用し、破滅的な忘れを克服するためにアルティヒッポを育む方法
(4)提案したArtiHippoとプロンプトベースのアプローチを最大限に活用する方法。
実験において、提案手法は挑戦的なvisual domain decathlon(vdd)ベンチマークと最近提案された5つのデータセットベンチマークでテストされている。
相変わらず学び続ける有能なアーティヒッポよりも一貫して優れたパフォーマンスを得る。
関連論文リスト
- BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human
Racing Gameplay [51.66557720632042]
模倣学習は、手作りの報酬関数を必要とせずに、デモンストレーションからポリシーを学ぶ。
本稿では,BeTAIL: Behavior Transformer Adversarial Imitation Learningを提案する。
我々は,Gran Turismo Sportにおけるリアルヒューマンゲームプレイのエキスパートレベルのデモンストレーションで,BeTAILを3つの課題でテストした。
論文 参考訳(メタデータ) (2024-02-22T00:38:43Z) - Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。
我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。
我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
論文 参考訳(メタデータ) (2023-10-04T17:59:38Z) - Breaking through the learning plateaus of in-context learning in
Transformer [46.73131236261085]
文脈学習(In-context learning)、すなわち文脈の例から学ぶことは、Transformerの印象的な能力である。
この文脈内学習スキルを持つための学習用トランスフォーマーは、学習台地の発生により、計算集約的である。
論文 参考訳(メタデータ) (2023-09-12T08:45:25Z) - BiRT: Bio-inspired Replay in Vision Transformers for Continual Learning [13.056764072568749]
人間は、破滅的な忘れ物なしに、生涯を通してタスクを通して知識を取得し、同化し、伝達する驚くべき能力を持っている。
視覚変換器を用いた表現リハーサルに基づく連続学習手法であるBiRTを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:19:39Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳(メタデータ) (2022-12-15T09:21:21Z) - What do Vision Transformers Learn? A Visual Exploration [68.50771218442776]
視覚変換器(ViT)はコンピュータビジョンのデファクトアーキテクチャとして急速に普及しつつある。
本稿では、ViT上での可視化の障害に対処し、ViTとCNNの根本的な相違について検討する。
また、DeiT、CoaT、ConViT、PiT、Swin、Twinなど、さまざまなViT変種に対して大規模な可視化を行っています。
論文 参考訳(メタデータ) (2022-12-13T16:55:12Z) - Meta-attention for ViT-backed Continual Learning [35.31816553097367]
視覚変換器(ViT)はコンピュータビジョンの分野を徐々に支配している。
ViTは、CNNベースの連続学習に簡単に適用すれば、深刻なパフォーマンス劣化に悩まされる可能性がある。
学習済みのタスクのパフォーマンスを犠牲にすることなく、トレーニング済みのViTを新しいタスクに適用するためのMeta-Atention(MEAT)を提案する。
論文 参考訳(メタデータ) (2022-03-22T12:58:39Z) - Episodic Transformer for Vision-and-Language Navigation [142.6236659368177]
本稿では,長時間のサブタスク処理と複雑なヒューマンインストラクションの理解という2つの課題に取り組むことに焦点を当てる。
エピソード変換器(E.T.)を提案する。
言語入力と視覚観察と行動の全エピソード履歴を符号化するマルチモーダルトランスフォーマーである。
我々のアプローチは、挑戦的なALFREDベンチマークに新たな技術状況を設定し、見つからないテストの分割で38.4%と8.5%のタスク成功率を達成した。
論文 参考訳(メタデータ) (2021-05-13T17:51:46Z) - An Empirical Study of Training Self-Supervised Visual Transformers [70.27107708555185]
自己監視型視覚トランスフォーマーの訓練におけるいくつかの基本成分の影響について検討する。
これらの結果は確かに部分的な失敗であり、トレーニングをより安定させると改善できる。
論文 参考訳(メタデータ) (2021-04-05T17:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。