論文の概要: Learning to Grow Artificial Hippocampi in Vision Transformers for
Resilient Lifelong Learning
- arxiv url: http://arxiv.org/abs/2303.08250v1
- Date: Tue, 14 Mar 2023 21:52:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:34:22.823785
- Title: Learning to Grow Artificial Hippocampi in Vision Transformers for
Resilient Lifelong Learning
- Title（参考訳）: 回復型生涯学習のための視覚トランスフォーマーにおける人工海馬育成のための学習
- Authors: Chinmay Savadikar, Michelle Dai, Tianfu Wu
- Abstract要約: 本稿では,視覚変換器(ViT)における人工海馬(ArtiHippo)の学習方法を提案する。
ArtiHippoは専門家(MoEs)の混合によって表現される
新しい課題として, 階層型タスク類似性指向探索-探索-探索サンプリングに基づくNASを提案し, エキスパートコンポーネントの学習を行った。
- 参考スコア（独自算出の注目度）: 7.91996056452393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lifelong learning without catastrophic forgetting (i.e., resiliency)
possessed by human intelligence is entangled with sophisticated memory
mechanisms in the brain, especially the long-term memory (LM) maintained by
Hippocampi. To a certain extent, Transformers have emerged as the counterpart
``Brain" of Artificial Intelligence (AI), and yet leave the LM component
under-explored for lifelong learning settings. This paper presents a method of
learning to grow Artificial Hippocampi (ArtiHippo) in Vision Transformers
(ViTs) for resilient lifelong learning. With a comprehensive ablation study,
the final linear projection layer in the multi-head self-attention (MHSA) block
is selected in realizing and growing ArtiHippo. ArtiHippo is represented by a
mixture of experts (MoEs). Each expert component is an on-site variant of the
linear projection layer, maintained via neural architecture search (NAS) with
the search space defined by four basic growing operations -- skip, reuse,
adapt, and new in lifelong learning. The LM of a task consists of two parts:
the dedicated expert components (as model parameters) at different layers of a
ViT learned via NAS, and the mean class-tokens (as stored latent vectors for
measuring task similarity) associated with the expert components. For a new
task, a hierarchical task-similarity-oriented exploration-exploitation sampling
based NAS is proposed to learn the expert components. The task similarity is
measured based on the normalized cosine similarity between the mean class-token
of the new task and those of old tasks. The proposed method is complementary to
prompt-based lifelong learningwith ViTs. In experiments, the proposed method is
tested on the challenging Visual Domain Decathlon (VDD) benchmark and the
recently proposed 5-Dataset benchmark. It obtains consistently better
performance than the prior art with sensible ArtiHippo learned continually.
- Abstract（参考訳）: 人間の知能によって保持される破滅的な記憶(レジリエンス)のない生涯学習は、脳の洗練された記憶機構、特にヒッポカンピが維持する長期記憶(LM)と絡み合っている。
ある程度の間、トランスフォーマーは人工知能(ai)の「脳」に相当するものとして登場してきたが、lmコンポーネントは生涯学習設定のために未熟のまま残されている。
本稿では,視覚変換器(ViT)における人工海馬(ArtiHippo)の学習方法を提案する。
包括的アブレーション研究により, マルチヘッド自己アテンション(MHSA)ブロックにおける最終線形プロジェクション層がArtiHippoの実現と成長において選択される。
ArtiHippoは専門家(MoEs)によって表現される。
各専門家コンポーネントは、ニューラルネットワーク検索(nas)を通じて維持されるリニアプロジェクション層のオンサイト版であり、スキップ、再利用、適応、生涯学習の新たな4つの基本的な成長操作によって定義された検索空間である。
タスクのlmは、nasによって学習されたvitの異なる層における専用のエキスパートコンポーネント(モデルパラメータとして)と、エキスパートコンポーネントに関連する平均クラストケント(タスクの類似性を測定するために格納された潜在ベクトルとして)の2つの部分からなる。
新しい課題として, 階層型タスク類似性指向探索-探索-探索サンプリングに基づくNASを提案する。
タスクの類似度は、新しいタスクの平均クラストケンと古いタスクの平均の正常化コサイン類似度に基づいて測定される。
提案手法はvitsを用いた生涯学習を補完するものである。
実験において、提案手法は挑戦的なvisual domain decathlon(vdd)ベンチマークと最近提案された5つのデータセットベンチマークでテストされている。
相変わらず学び続ける有能なアーティヒッポよりも一貫して優れたパフォーマンスを得る。
関連論文リスト
- PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。
近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文 参考訳（メタデータ） (2024-07-04T10:37:58Z) - Dynamic Transformer Architecture for Continual Learning of Multimodal
Tasks [27.59758964060561]
トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。
連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。
本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-27T03:03:30Z) - LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning [64.55001982176226]
LIBEROは、ロボット操作のための生涯学習の新しいベンチマークである。
宣言的知識、手続き的知識、あるいは両者の混在を効率的に伝達する方法に焦点を当てる。
我々は、無限に多くのタスクを生成できる拡張可能な手続き生成パイプラインを開発した。
論文 参考訳（メタデータ） (2023-06-05T23:32:26Z) - Task-Attentive Transformer Architecture for Continual Learning of
Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。
バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。
私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
論文 参考訳（メタデータ） (2023-03-25T10:16:53Z) - Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。
提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-16T02:43:52Z) - A Unified Meta-Learning Framework for Dynamic Transfer Learning [42.34180707803632]
動的タスクにおける知識伝達可能性のモデリングのための汎用メタ学習フレームワークL2Eを提案する。
L2E は,(1) 動的タスク間の効果的な知識伝達可能性,(2) 新しい目標タスクへの迅速な適応,(3) 歴史的目標タスクに対する破滅的な忘れの軽減,(4) 既存の静的移動学習アルゴリズムを取り入れた柔軟性,といった特性を享受している。
論文 参考訳（メタデータ） (2022-07-05T02:56:38Z) - Rethinking Task-Incremental Learning Baselines [5.771817160915079]
本稿では,タスク・インクリメンタル・ラーニングのための簡易かつ効果的な調整ネットワーク(SAN)を提案する。
本研究では,3Dポイントクラウドオブジェクト (ModelNet40) と2Dイメージ (CIFAR10, CIFAR100, MiniImageNet, MNIST, PermutedMNIST, notMNIST, SVHN, FashionMNIST) の認識タスクについて検討する。
論文 参考訳（メタデータ） (2022-05-23T14:52:38Z) - Continual Object Detection via Prototypical Task Correlation Guided
Gating Mechanism [120.1998866178014]
pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。
具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。
COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
論文 参考訳（メタデータ） (2022-05-06T07:31:28Z) - Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。
本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。
その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2021-11-22T18:59:15Z) - Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。
合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。
次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文 参考訳（メタデータ） (2021-09-15T21:19:11Z) - Efficient Continual Learning with Modular Networks and Task-Driven
Priors [31.03712334701338]
継続学習(CL)における既存の文献は、破滅的な忘れを克服することに焦点を当てている。
新しいモジュールアーキテクチャを導入し、モジュールは特定のタスクを実行するために構成できる原子スキルを表す。
学習アルゴリズムは,モジュールを結合するあらゆる方法の指数関数探索空間上でタスク駆動前処理を活用し,タスクの長いストリームでの効率的な学習を可能にする。
論文 参考訳（メタデータ） (2020-12-23T12:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。