論文の概要: Learning Invariant Representation for Continual Learning

• arxiv url: http://arxiv.org/abs/2101.06162v1
• Date: Fri, 15 Jan 2021 15:12:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 11:28:45.289508
• Title: Learning Invariant Representation for Continual Learning
• Title（参考訳）: 連続学習のための不変表現の学習
• Authors: Ghada Sokar, Decebal Constantin Mocanu, Mykola Pechenizkiy
• Abstract要約: 継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
• 参考スコア（独自算出の注目度）: 5.979373021392084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to provide intelligent agents that are capable of learning continually a sequence of tasks, building on previously learned knowledge. A key challenge in this learning paradigm is catastrophically forgetting previously learned tasks when the agent faces a new one. Current rehearsal-based methods show their success in mitigating the catastrophic forgetting problem by replaying samples from previous tasks during learning a new one. However, these methods are infeasible when the data of previous tasks is not accessible. In this work, we propose a new pseudo-rehearsal-based method, named learning Invariant Representation for Continual Learning (IRCL), in which class-invariant representation is disentangled from a conditional generative model and jointly used with class-specific representation to learn the sequential tasks. Disentangling the shared invariant representation helps to learn continually a sequence of tasks, while being more robust to forgetting and having better knowledge transfer. We focus on class incremental learning where there is no knowledge about task identity during inference. We empirically evaluate our proposed method on two well-known benchmarks for continual learning: split MNIST and split Fashion MNIST. The experimental results show that our proposed method outperforms regularization-based methods by a big margin and is better than the state-of-the-art pseudo-rehearsal-based method. Finally, we analyze the role of the shared invariant representation in mitigating the forgetting problem especially when the number of replayed samples for each previous task is small.
• Abstract（参考訳）: 継続的学習は、事前に学習した知識に基づいて、一連のタスクを継続的に学習できるインテリジェントエージェントを提供することを目的としている。 この学習パラダイムの重要な課題は、エージェントが新しいタスクに直面すると、それまで学んだタスクを壊滅的に忘れてしまうことだ。 現在のリハーサルベースの手法は、新しいタスクの学習中に前のタスクからサンプルを再生することで、破滅的な忘れ問題の緩和に成功していることを示している。 しかし、これらの手法は、以前のタスクのデータにアクセスできない場合に有効ではない。 本研究では,条件付き生成モデルからクラス不変表現を分離し,クラス固有表現と協調してシーケンシャルタスクを学習する,連続学習のための学習不変表現(ircl)と呼ばれる新しい擬似リハーサルベース手法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。 推論中にタスクアイデンティティに関する知識がないクラスインクリメンタルな学習に重点を置いています。 MNIST 分割と Fashion MNIST 分割という2つのよく知られた連続学習ベンチマークで提案手法を実証的に評価した。 実験の結果,提案手法は正則化法よりも大きなマージンで優れており,従来の擬似リハーサル法よりも優れていることがわかった。 最後に,前回のタスクで再生されたサンプル数が少ない場合の忘れ問題緩和における共有不変表現の役割を解析する。

関連論文リスト

• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• Contrastive Continual Learning with Feature Propagation [32.70482982044965]
  連続した機械学習者は、異なるタスク間でドメインやクラスシフトを伴うタスクのストリームを寛大に学習する。 本稿では,複数の連続学習シナリオを処理可能な特徴伝達に基づくコントラスト型連続学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-03T04:55:28Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。