論文の概要: Transforming Transformers for Resilient Lifelong Learning

• arxiv url: http://arxiv.org/abs/2303.08250v3
• Date: Tue, 3 Oct 2023 14:22:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 10:52:15.972758
• Title: Transforming Transformers for Resilient Lifelong Learning
• Title（参考訳）: 回復型生涯学習のためのトランスフォーマー
• Authors: Chinmay Savadikar, Michelle Dai, Tianfu Wu
• Abstract要約: 破滅的な記憶のない生涯学習(レジリエンス)は、ディープニューラルネットワークにとってオープンな問題である。 本研究では,視覚変換器(ViTs)のArtiHippoを,回復力のある生涯学習のために識別し,学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 7.997921693184347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning without catastrophic forgetting (i.e., resiliency) remains an open problem for deep neural networks. The prior art mostly focuses on convolutional neural networks. With the increasing dominance of Transformers in deep learning, it is a pressing need to study lifelong learning with Transformers. Due to the complexity of training Transformers in practice, for lifelong learning, a question naturally arises: Can Transformers be learned to grow in a task aware way, that is to be dynamically transformed by introducing lightweight learnable plastic components to the architecture, while retaining the parameter-heavy, but stable components at streaming tasks? To that end, motivated by the lifelong learning capability maintained by the functionality of Hippocampi in human brain, we explore what would be, and how to implement, Artificial Hippocampi (ArtiHippo) in Transformers. We present a method to identify, and learn to grow, ArtiHippo in Vision Transformers (ViTs) for resilient lifelong learning in four aspects: (i) Where to place ArtiHippo to enable plasticity while preserving the core function of ViTs at streaming tasks? (ii) How to represent and realize ArtiHippo to ensure expressivity and adaptivity for tackling tasks of different nature in lifelong learning? (iii) How to learn to grow ArtiHippo to exploit task synergies (i.e., the learned knowledge) and overcome catastrophic forgetting? (iv) How to harness the best of our proposed ArtiHippo and prompting-based approaches? In experiments, we test the proposed method on the challenging Visual Domain Decathlon (VDD) benchmark and the 5-Dataset benchmark under the task-incremental lifelong learning setting. It obtains consistently better performance than the prior art with sensible ArtiHippo learned continually. To our knowledge, it is the first attempt of lifelong learning with ViTs on the challenging VDD benchmark.
• Abstract（参考訳）: 破滅的な記憶のない生涯学習(レジリエンス)は、ディープニューラルネットワークにとってオープンな問題である。 先行技術は主に畳み込みニューラルネットワークに焦点を当てている。 深層学習におけるトランスフォーマーの優位性の高まりに伴い,トランスフォーマーを用いた生涯学習研究の必要性が高まっている。 トランスフォーマーは、タスクを意識した方法で成長することを学べる。これは、軽量の学習可能なプラスチックコンポーネントをアーキテクチャに導入し、パラメータが重いが安定したコンポーネントをストリーミングタスクで維持することによって、動的に変換できる。 その目的のために,人間の脳における海馬の機能によって維持される生涯学習能力に動機づけられ,トランスフォーマーにおける人工海馬(artihippo)の実装について検討する。 視覚変換器(ViTs)におけるArtiHippoを,4つの側面のレジリエンスな生涯学習のために同定し,成長させる方法を提案する。 i) ストリーミングタスクにおいて、ViTのコア機能を保ちながら可塑性を実現するためにArtiHippoをどこに配置するか。 (ii)生涯学習における異なる性質の課題に取り組むための表現性と適応性を確保するためのアルティヒッポの表現と実現方法 (三)タスクシナジー(すなわち学習知識)を活用して破滅的な忘れを克服するためにArtiHippoをどう成長させるか。 (4)提案したArtiHippoとプロンプトベースのアプローチを最大限に活用する方法。 実験では,課題領域decathlon(vdd)ベンチマークと5データセットベンチマークを用いて,タスクインクリメンタルな生涯学習環境下で提案手法をテストした。 相変わらず学び続ける有能なアーティヒッポよりも一貫して優れたパフォーマンスを得る。 我々の知る限り、これは挑戦的なVDDベンチマークでVTで生涯学習する最初の試みである。

関連論文リスト

• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning [64.55001982176226]
  LIBEROは、ロボット操作のための生涯学習の新しいベンチマークである。 宣言的知識、手続き的知識、あるいは両者の混在を効率的に伝達する方法に焦点を当てる。 我々は、無限に多くのタスクを生成できる拡張可能な手続き生成パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-06-05T23:32:26Z)
• Task-Attentive Transformer Architecture for Continual Learning of Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
  連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。 バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。 私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
  論文  参考訳（メタデータ） (2023-03-25T10:16:53Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• A Unified Meta-Learning Framework for Dynamic Transfer Learning [42.34180707803632]
  動的タスクにおける知識伝達可能性のモデリングのための汎用メタ学習フレームワークL2Eを提案する。 L2E は,(1) 動的タスク間の効果的な知識伝達可能性,(2) 新しい目標タスクへの迅速な適応,(3) 歴史的目標タスクに対する破滅的な忘れの軽減,(4) 既存の静的移動学習アルゴリズムを取り入れた柔軟性,といった特性を享受している。
  論文  参考訳（メタデータ） (2022-07-05T02:56:38Z)
• Rethinking Task-Incremental Learning Baselines [5.771817160915079]
  本稿では,タスク・インクリメンタル・ラーニングのための簡易かつ効果的な調整ネットワーク(SAN)を提案する。 本研究では,3Dポイントクラウドオブジェクト (ModelNet40) と2Dイメージ (CIFAR10, CIFAR100, MiniImageNet, MNIST, PermutedMNIST, notMNIST, SVHN, FashionMNIST) の認識タスクについて検討する。
  論文  参考訳（メタデータ） (2022-05-23T14:52:38Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
  オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。 本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。 その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2021-11-22T18:59:15Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• Efficient Continual Learning with Modular Networks and Task-Driven Priors [31.03712334701338]
  継続学習(CL)における既存の文献は、破滅的な忘れを克服することに焦点を当てている。 新しいモジュールアーキテクチャを導入し、モジュールは特定のタスクを実行するために構成できる原子スキルを表す。 学習アルゴリズムは,モジュールを結合するあらゆる方法の指数関数探索空間上でタスク駆動前処理を活用し,タスクの長いストリームでの効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2020-12-23T12:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。