論文の概要: Continual Learning Using Multi-view Task Conditional Neural Networks
- arxiv url: http://arxiv.org/abs/2005.05080v3
- Date: Mon, 13 Jul 2020 09:19:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 11:58:23.357974
- Title: Continual Learning Using Multi-view Task Conditional Neural Networks
- Title（参考訳）: 多視点タスク条件ニューラルネットワークを用いた連続学習
- Authors: Honglin Li, Payam Barnaghi, Shirin Enshaeifar, Frieder Ganz
- Abstract要約: 従来のディープラーニングモデルは、複数のタスクを逐次学習する能力に制限がある。
再帰的なタスクを事前に知る必要のないマルチビュータスク条件ニューラルネットワーク(Mv-TCNN)を提案する。
- 参考スコア（独自算出の注目度）: 6.27221711890162
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Conventional deep learning models have limited capacity in learning multiple
tasks sequentially. The issue of forgetting the previously learned tasks in
continual learning is known as catastrophic forgetting or interference. When
the input data or the goal of learning change, a continual model will learn and
adapt to the new status. However, the model will not remember or recognise any
revisits to the previous states. This causes performance reduction and
re-training curves in dealing with periodic or irregularly reoccurring changes
in the data or goals. The changes in goals or data are referred to as new tasks
in a continual learning model. Most of the continual learning methods have a
task-known setup in which the task identities are known in advance to the
learning model. We propose Multi-view Task Conditional Neural Networks
(Mv-TCNN) that does not require to known the reoccurring tasks in advance. We
evaluate our model on standard datasets using MNIST, CIFAR10, CIFAR100, and
also a real-world dataset that we have collected in a remote healthcare
monitoring study (i.e. TIHM dataset). The proposed model outperforms the
state-of-the-art solutions in continual learning and adapting to new tasks that
are not defined in advance.
- Abstract（参考訳）: 従来のディープラーニングモデルは、複数のタスクを逐次学習する能力に制限がある。
事前学習したタスクを継続学習で忘れてしまう問題は、破滅的な忘れや干渉として知られる。
入力データや学習目標が変化すると、連続モデルが学習し、新しいステータスに適応する。
しかし、モデルは以前の状態に対する変更を覚えたり認識したりしない。
これにより、周期的または不規則にデータや目標の変化を扱う際に、パフォーマンスの低下と再トレーニング曲線が発生する。
目標やデータの変化は、継続的な学習モデルにおける新しいタスクと呼ばれる。
ほとんどの連続学習方法は、学習モデルに先立ってタスクのアイデンティティがわかっているタスク既知の設定を持っている。
再帰的なタスクを事前に知る必要のないマルチビュータスク条件ニューラルネットワーク(Mv-TCNN)を提案する。
MNIST, CIFAR10, CIFAR100, および遠隔医療モニタリング研究(TIHMデータセット)で収集した実世界のデータセットを用いて, 標準データセットのモデルを評価する。
提案手法は,先行して定義されていない新しいタスクに適応し,継続学習における最先端のソリューションよりも優れる。
関連論文リスト
- Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - Preventing Catastrophic Forgetting in Continual Learning of New Natural
Language Tasks [17.879087904904935]
マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。
通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。
本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
論文 参考訳（メタデータ） (2023-02-22T00:18:25Z) - Shared and Private VAEs with Generative Replay for Continual Learning [1.90365714903665]
継続的学習は、学習済みのタスクを忘れずに新しいタスクを学習しようとする。
既存のartificial neural network (ann)モデルのほとんどは失敗するが、人間は生涯にわたって過去の作品を思い出して同じことをする。
我々は,MNIST,Permuted MNIST(QMNIST),CIFAR100,MiniImageNetデータセットなどの視覚的連続学習ベンチマークにおいて,このハイブリッドモデルの有効性を示す。
論文 参考訳（メタデータ） (2021-05-17T06:18:36Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳（メタデータ） (2021-05-10T15:09:01Z) - Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。
アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。
私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
論文 参考訳（メタデータ） (2021-04-18T10:41:56Z) - Adversarial Training of Variational Auto-encoders for Continual
Zero-shot Learning [1.90365714903665]
本稿では,全タスクの情報を保持する共有VAEモジュールとタスク固有のプライベートVAEモジュールで構成されるハイブリッドネットワークを提案する。
モデルのサイズは各タスクで増加し、タスク固有のスキルの破滅的な忘れを防止する。
ZSL (Zero-Shot Learning) と GZSL (Generalized Zero-Shot Learning) による逐次学習よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-02-07T11:21:24Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。