論文の概要: Adversarial Continual Learning

• arxiv url: http://arxiv.org/abs/2003.09553v2
• Date: Tue, 21 Jul 2020 15:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 10:17:21.988663
• Title: Adversarial Continual Learning
• Title（参考訳）: 敵対的連続学習
• Authors: Sayna Ebrahimi, Franziska Meier, Roberto Calandra, Trevor Darrell, Marcus Rohrbach
• Abstract要約: 本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
• 参考スコア（独自算出の注目度）: 99.56738010842301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to learn new tasks without forgetting previously learned ones. We hypothesize that representations learned to solve each task in a sequence have a shared structure while containing some task-specific properties. We show that shared features are significantly less prone to forgetting and propose a novel hybrid continual learning framework that learns a disjoint representation for task-invariant and task-specific features required to solve a sequence of tasks. Our model combines architecture growth to prevent forgetting of task-specific skills and an experience replay approach to preserve shared skills. We demonstrate our hybrid approach is effective in avoiding forgetting and show it is superior to both architecture-based and memory-based approaches on class incrementally learning of a single dataset as well as a sequence of multiple datasets in image classification. Our code is available at \url{https://github.com/facebookresearch/Adversarial-Continual-Learning}.
• Abstract（参考訳）: 継続的学習は、学習済みのタスクを忘れずに新しいタスクを学ぶことを目的としている。 我々は、各タスクをシーケンスで解くために学習した表現が、タスク固有の性質を包含しながら共有構造を持つことを仮定する。 共有機能は忘れやすいことを示し、タスクのシーケンスを解決するのに必要なタスク不変性とタスク固有の特徴の非結合表現を学習する、新しいハイブリッド連続学習フレームワークを提案する。 本モデルは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。 画像分類における複数のデータセットのシーケンスだけでなく、1つのデータセットの漸進的学習におけるアーキテクチャベースのアプローチとメモリベースのアプローチの両方よりも優れていることを示す。 私たちのコードは \url{https://github.com/facebookresearch/Adversarial-Continual-Learning} で利用可能です。

関連論文リスト

• Class-Incremental Learning via Knowledge Amalgamation [14.513858688486701]
  破滅的な忘れ込みは、継続的な学習環境におけるディープラーニングアルゴリズムの展開を妨げる重要な問題である。 我々は、知識の融合(CFA)による破滅的な忘れを解消するための代替戦略を提唱した。 CFAは、過去のタスクに特化した複数の異種教師モデルから学生ネットワークを学習し、現在のオフライン手法に適用することができる。
  論文  参考訳（メタデータ） (2022-09-05T19:49:01Z)
• Cross-task Attention Mechanism for Dense Multi-task Learning [16.040894192229043]
  我々は2次元セマンティックセグメンテーションと2つの幾何学的タスク、すなわち密度深度と表面正規度推定を共同で扱う。 相関誘導型注意と自己注意によってペアワイズなクロスタスク交換を利用する,新しいマルチタスク学習アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-06-17T17:59:45Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Encoders and Ensembles for Task-Free Continual Learning [15.831773437720429]
  本稿では,タスク境界が存在しない,あるいは不明な,特に要求の多い環境での継続的な学習に有効なアーキテクチャを提案する。 このアーキテクチャで訓練されたモデルは、標準画像分類連続学習ベンチマークにおけるタスクフリー設定の最先端であることを示す。 また、アーキテクチャは、一度に1つのクラスが学習される完全にインクリメンタルな環境でよく学習され、最大100のクラスでその効果を示す。
  論文  参考訳（メタデータ） (2021-05-27T17:34:31Z)
• Learn to Bind and Grow Neural Structures [0.3553493344868413]
  我々は、新しいタスクのためのニューラルアーキテクチャを漸進的に学習する新しいフレームワーク、Learning to Bind and Growを紹介する。 私たちのアプローチの中心は、共有マルチタスクアーキテクチャ空間の新しい、解釈可能な、パラメータ化です。 連続学習ベンチマークの実験により、我々のフレームワークは、以前の拡張ベースのアプローチと相容れない性能を示した。
  論文  参考訳（メタデータ） (2020-11-21T09:40:26Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。