論文の概要: Learning to Grow Artificial Hippocampi in Vision Transformers for
Resilient Lifelong Learning
- arxiv url: http://arxiv.org/abs/2303.08250v1
- Date: Tue, 14 Mar 2023 21:52:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:34:22.823785
- Title: Learning to Grow Artificial Hippocampi in Vision Transformers for
Resilient Lifelong Learning
- Title（参考訳）: 回復型生涯学習のための視覚トランスフォーマーにおける人工海馬育成のための学習
- Authors: Chinmay Savadikar, Michelle Dai, Tianfu Wu
- Abstract要約: 本稿では,視覚変換器(ViT)における人工海馬(ArtiHippo)の学習方法を提案する。
ArtiHippoは専門家(MoEs)の混合によって表現される
新しい課題として, 階層型タスク類似性指向探索-探索-探索サンプリングに基づくNASを提案し, エキスパートコンポーネントの学習を行った。
- 参考スコア（独自算出の注目度）: 7.91996056452393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lifelong learning without catastrophic forgetting (i.e., resiliency)
possessed by human intelligence is entangled with sophisticated memory
mechanisms in the brain, especially the long-term memory (LM) maintained by
Hippocampi. To a certain extent, Transformers have emerged as the counterpart
``Brain" of Artificial Intelligence (AI), and yet leave the LM component
under-explored for lifelong learning settings. This paper presents a method of
learning to grow Artificial Hippocampi (ArtiHippo) in Vision Transformers
(ViTs) for resilient lifelong learning. With a comprehensive ablation study,
the final linear projection layer in the multi-head self-attention (MHSA) block
is selected in realizing and growing ArtiHippo. ArtiHippo is represented by a
mixture of experts (MoEs). Each expert component is an on-site variant of the
linear projection layer, maintained via neural architecture search (NAS) with
the search space defined by four basic growing operations -- skip, reuse,
adapt, and new in lifelong learning. The LM of a task consists of two parts:
the dedicated expert components (as model parameters) at different layers of a
ViT learned via NAS, and the mean class-tokens (as stored latent vectors for
measuring task similarity) associated with the expert components. For a new
task, a hierarchical task-similarity-oriented exploration-exploitation sampling
based NAS is proposed to learn the expert components. The task similarity is
measured based on the normalized cosine similarity between the mean class-token
of the new task and those of old tasks. The proposed method is complementary to
prompt-based lifelong learningwith ViTs. In experiments, the proposed method is
tested on the challenging Visual Domain Decathlon (VDD) benchmark and the
recently proposed 5-Dataset benchmark. It obtains consistently better
performance than the prior art with sensible ArtiHippo learned continually.
- Abstract（参考訳）: 人間の知能によって保持される破滅的な記憶(レジリエンス)のない生涯学習は、脳の洗練された記憶機構、特にヒッポカンピが維持する長期記憶(LM)と絡み合っている。
ある程度の間、トランスフォーマーは人工知能(ai)の「脳」に相当するものとして登場してきたが、lmコンポーネントは生涯学習設定のために未熟のまま残されている。
本稿では,視覚変換器(ViT)における人工海馬(ArtiHippo)の学習方法を提案する。
包括的アブレーション研究により, マルチヘッド自己アテンション(MHSA)ブロックにおける最終線形プロジェクション層がArtiHippoの実現と成長において選択される。
ArtiHippoは専門家(MoEs)によって表現される。
各専門家コンポーネントは、ニューラルネットワーク検索(nas)を通じて維持されるリニアプロジェクション層のオンサイト版であり、スキップ、再利用、適応、生涯学習の新たな4つの基本的な成長操作によって定義された検索空間である。
タスクのlmは、nasによって学習されたvitの異なる層における専用のエキスパートコンポーネント(モデルパラメータとして)と、エキスパートコンポーネントに関連する平均クラストケント(タスクの類似性を測定するために格納された潜在ベクトルとして)の2つの部分からなる。
新しい課題として, 階層型タスク類似性指向探索-探索-探索サンプリングに基づくNASを提案する。
タスクの類似度は、新しいタスクの平均クラストケンと古いタスクの平均の正常化コサイン類似度に基づいて測定される。
提案手法はvitsを用いた生涯学習を補完するものである。
実験において、提案手法は挑戦的なvisual domain decathlon(vdd)ベンチマークと最近提案された5つのデータセットベンチマークでテストされている。
相変わらず学び続ける有能なアーティヒッポよりも一貫して優れたパフォーマンスを得る。
関連論文リスト
- Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video
Anomaly Detection [108.57862846523858]
自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。
マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。
モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
論文 参考訳（メタデータ） (2022-07-16T19:25:41Z) - Learning Neuro-Symbolic Skills for Bilevel Planning [63.388694268198655]
意思決定は、連続したオブジェクト中心の状態、継続的なアクション、長い地平線、まばらなフィードバックを持つロボット環境では難しい。
タスク・アンド・モーション・プランニング(TAMP)のような階層的なアプローチは、意思決定を2つ以上の抽象レベルに分解することでこれらの課題に対処する。
我々の主な貢献は、オペレーターとサンプルラーを組み合わせたパラメータ化警察の学習方法である。
論文 参考訳（メタデータ） (2022-06-21T19:01:19Z) - Classifying Human Activities using Machine Learning and Deep Learning
Techniques [0.0]
HAR(Human Activity Recognition)は、人間の行動を認識する機械。
HARの課題は、与えられたデータに基づいて人間の活動を分離することの難しさを克服することである。
Long Short-Term Memory(LSTM)、Bi-Directional LS分類器、Recurrent Neural Network(RNN)、Gated Recurrent Unit(GRU)といったディープラーニング技術がトレーニングされている。
実験の結果、機械学習における線形サポートベクトルとディープラーニングにおけるGated Recurrent Unitが、人間の活動認識により良い精度を提供することがわかった。
論文 参考訳（メタデータ） (2022-05-19T05:20:04Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳（メタデータ） (2022-02-28T16:07:19Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - LANA: Towards Personalized Deep Knowledge Tracing Through
Distinguishable Interactive Sequences [21.67751919579854]
今後の質問に対する学生の回答を予測するために、Leveled Attentive KNowledge TrAcing(LANA)を提案します。
新しい学生関連特徴抽出装置(SRFE)を使用して、学生固有の特性をそれぞれのインタラクティブシーケンスから蒸留します。
ピボットモジュールは、個々の学生のためのデコーダを再構築し、グループのためのレベル付き学習特化エンコーダにより、パーソナライズされたDKTを実現した。
論文 参考訳（メタデータ） (2021-04-21T02:57:42Z) - Learn-Prune-Share for Lifelong Learning [25.678753894026357]
本稿では,破滅的な忘れ,パシモニー,知識再利用の課題を同時に解決する学習規則共有(LPS)アルゴリズムを提案する。
LPSはADMMベースのプルーニング戦略を通じて、ネットワークをタスク固有のパーティションに分割する。
これにより忘れられなくなり、パルシモニーは維持される。
論文 参考訳（メタデータ） (2020-12-13T04:05:16Z) - Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。
我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-01-03T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。