論文の概要: E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network

• arxiv url: http://arxiv.org/abs/2207.06754v1
• Date: Thu, 14 Jul 2022 09:04:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 14:23:05.319629
• Title: E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network
• Title（参考訳）: E2-AEN: 適応拡張ネットワークによるエンドツーエンドインクリメンタル学習
• Authors: Guimei Cao, Zhanzhan Cheng, Yunlu Xu, Duo Li, Shiliang Pu, Yi Niu and Fei Wu
• Abstract要約: 本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
• 参考スコア（独自算出の注目度）: 57.87240860624937
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Expandable networks have demonstrated their advantages in dealing with catastrophic forgetting problem in incremental learning. Considering that different tasks may need different structures, recent methods design dynamic structures adapted to different tasks via sophisticated skills. Their routine is to search expandable structures first and then train on the new tasks, which, however, breaks tasks into multiple training stages, leading to suboptimal or overmuch computational cost. In this paper, we propose an end-to-end trainable adaptively expandable network named E2-AEN, which dynamically generates lightweight structures for new tasks without any accuracy drop in previous tasks. Specifically, the network contains a serial of powerful feature adapters for augmenting the previously learned representations to new tasks, and avoiding task interference. These adapters are controlled via an adaptive gate-based pruning strategy which decides whether the expanded structures can be pruned, making the network structure dynamically changeable according to the complexity of the new tasks. Moreover, we introduce a novel sparsity-activation regularization to encourage the model to learn discriminative features with limited parameters. E2-AEN reduces cost and can be built upon any feed-forward architectures in an end-to-end manner. Extensive experiments on both classification (i.e., CIFAR and VDD) and detection (i.e., COCO, VOC and ICCV2021 SSLAD challenge) benchmarks demonstrate the effectiveness of the proposed method, which achieves the new remarkable results.
• Abstract（参考訳）: 拡張可能なネットワークは、インクリメンタル学習における破滅的な忘れる問題に対処する上での利点を実証している。 異なるタスクが異なる構造を必要とする可能性があることを考慮し、最近の手法は高度なスキルによって異なるタスクに適応した動的構造を設計する。 彼らのルーチンは、まず拡張可能な構造を探索し、次に新しいタスクを訓練することである。 本稿では,新しいタスクに動的に軽量な構造を生成できるe2-aenと呼ばれるエンドツーエンドの適応拡張ネットワークを提案する。 具体的には、ネットワークには、以前に学習した表現を新しいタスクに拡張し、タスクの干渉を避けるための強力な機能アダプタのシリアルが含まれている。 これらのアダプタは、拡張された構造を刈り取ることができるかどうかを判断する適応ゲートベースのプルーニング戦略を介して制御され、新しいタスクの複雑さに応じてネットワーク構造を動的に変更可能である。 さらに,パラメータの制限された識別特徴をモデルに学習させるため,新しいスパーシティ活性化正規化法を提案する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。 分類(cifar, vdd)と検出(coco, voc, iccv2021 sslad challenge)の両方に関する広範な実験により, 提案手法の有効性が実証され, 新たな顕著な結果が得られた。

関連論文リスト

• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Dynamic Integration of Task-Specific Adapters for Class Incremental Learning [31.67570086108542]
  非典型的なクラス インクリメンタルラーニング (NECIL) では、モデルがスクラッチからリトレーニングしたり、古いタスク インクリメンタルを格納したりすることなく、新しいクラスを継続的に取得できる。 本稿では,タスク特化アダプタ統合(TSAI)とパッチレベルモデルアライメントという,タスク特化アダプタの動的統合(DIA)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-23T13:01:33Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• GROWN: GRow Only When Necessary for Continual Learning [39.56829374809613]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、新しいタスクを学ぶ際に、以前のタスクに関する知識を忘れてしまう。 この問題に対処するために、新しいタスクを逐次学習し、忘れずに古いタスクから新しいタスクへの知識伝達を行う連続学習が開発された。 GROWNは、必要な時にのみモデルを動的に成長させる、新しいエンドツーエンドの継続的学習フレームワークである。
  論文  参考訳（メタデータ） (2021-10-03T02:31:04Z)
• Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
  シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。 合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。 次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
  論文  参考訳（メタデータ） (2021-09-15T21:19:11Z)
• A Novel Approach to Lifelong Learning: The Plastic Support Structure [0.0]
  本稿では,ネットワークが新たなタスクを学習するために必要な容量を拡大する能力を備えた,コンパクトなカプセル化されたサポート構造を導入する,生涯学習のための新しいアプローチを提案する。 これは、ニューロンを高いセマンティックドリフトで分割し、新しいタスクを手元にエンコードする隣のネットワークを構築することで達成される。 我々はこれをPlastic Support Structure (PSS)と呼び、ネットワークの既存の構造に効率的にエンコードできない新しいタスクを学習するためのコンパクトな構造である。
  論文  参考訳（メタデータ） (2021-06-11T10:34:37Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。