論文の概要: Dissecting Continual Learning a Structural and Data Analysis
- arxiv url: http://arxiv.org/abs/2301.01033v1
- Date: Tue, 3 Jan 2023 10:37:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 14:12:50.300497
- Title: Dissecting Continual Learning a Structural and Data Analysis
- Title（参考訳）: 構造とデータ分析による連続学習の分離
- Authors: Francesco Pelosin
- Abstract要約: 連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。
ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。
このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Learning (CL) is a field dedicated to devise algorithms able to
achieve lifelong learning. Overcoming the knowledge disruption of previously
acquired concepts, a drawback affecting deep learning models and that goes by
the name of catastrophic forgetting, is a hard challenge. Currently, deep
learning methods can attain impressive results when the data modeled does not
undergo a considerable distributional shift in subsequent learning sessions,
but whenever we expose such systems to this incremental setting, performance
drop very quickly. Overcoming this limitation is fundamental as it would allow
us to build truly intelligent systems showing stability and plasticity.
Secondly, it would allow us to overcome the onerous limitation of retraining
these architectures from scratch with the new updated data. In this thesis, we
tackle the problem from multiple directions. In a first study, we show that in
rehearsal-based techniques (systems that use memory buffer), the quantity of
data stored in the rehearsal buffer is a more important factor over the quality
of the data. Secondly, we propose one of the early works of incremental
learning on ViTs architectures, comparing functional, weight and attention
regularization approaches and propose effective novel a novel asymmetric loss.
At the end we conclude with a study on pretraining and how it affects the
performance in Continual Learning, raising some questions about the effective
progression of the field. We then conclude with some future directions and
closing remarks.
- Abstract（参考訳）: CL(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。
先程取得した概念の知識の破壊、ディープラーニングモデルに影響する欠点、破滅的な忘れ方という名の欠点を克服することは、難しい課題です。
現在、ディープラーニングの手法は、データモデルがその後の学習セッションでかなりの分散シフトを起こさないと印象的な結果が得られるが、このようなシステムをこのインクリメンタルな設定で公開すると、パフォーマンスは急速に低下する。
この制限を克服することは、安定性と可塑性を示す真にインテリジェントなシステムを構築する上で、基本的なことです。
第二に、新しい更新データでこれらのアーキテクチャをスクラッチから再トレーニングするという、面倒な制限を克服できるでしょう。
本論文では,複数の方向からこの問題に取り組む。
最初の研究では、リハーサルベースの手法(メモリバッファを使用するシステム)において、リハーサルバッファに格納されるデータの量は、データの品質よりも重要な要素であることが示されている。
第2に,ViTsアーキテクチャにおける漸進的学習の初期の成果の一つとして,機能的,重み付け,注目の正則化アプローチを比較し,新規な非対称損失を提案する。
最後に、プレトレーニングが継続的な学習におけるパフォーマンスに与える影響についての研究を行い、フィールドの効果的な進行についていくつかの疑問を提起する。
その後、今後の方向性と最終発言で締めくくります。
関連論文リスト
- Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
制約付き最適化問題を直接実行することは可能かつ有益であることを示す。
メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。
両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
論文 参考訳（メタデータ） (2023-09-29T21:23:27Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳（メタデータ） (2023-07-07T03:07:26Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳（メタデータ） (2022-12-09T13:22:27Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - An Empirical Investigation of the Role of Pre-training in Lifelong
Learning [21.995593026269578]
複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。
本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
論文 参考訳（メタデータ） (2021-12-16T19:00:55Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2021-08-20T06:17:20Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳（メタデータ） (2021-05-10T15:09:01Z) - A Mathematical Analysis of Learning Loss for Active Learning in
Regression [2.792030485253753]
本論文では、LearningLoss++と呼ばれる新しい修正を提案するためのLearning Lossの基礎を開発する。
本稿では,学習損失の解釈において,学習損失と学習ロス++との勾配を厳密に分析し比較することで,勾配が重要であることを示す。
また,異なるスケールで機能を組み合わせて損失を予測する畳み込みアーキテクチャを提案する。
learningloss++は、モデルがパフォーマンスの悪いシナリオを特定するのに優れており、モデルリファインメントがオープン世界での信頼性の高いパフォーマンスに繋がることを示している。
論文 参考訳（メタデータ） (2021-04-19T13:54:20Z) - Understanding Catastrophic Forgetting and Remembering in Continual
Learning with Optimal Relevance Mapping [10.970706194360451]
ニューラルネットワークにおける破滅的な忘れは、継続的な学習にとって重要な問題です。
最適オーバーラップ仮説にインスパイアされたRelevance Mapping Networks(RMN)を紹介します。
我々は、RMNが破滅的な忘れと記憶の双対の問題を乗り越える最適化された表現重複を学ぶことを示しています。
論文 参考訳（メタデータ） (2021-02-22T20:34:00Z) - Generative Feature Replay with Orthogonal Weight Modification for
Continual Learning [20.8966035274874]
生成的再生は、破滅的な忘れを和らげるために、以前のタスクの擬似データを生成し再生する有望な戦略である。
生成モデルを用いて垂直層の特徴を再現することを提案する; 2) 自己監督型補助タスクを活用して特徴の安定性をさらに向上する。
いくつかのデータセットにおける実験結果から,我々の手法は常に強力なOWMよりも大幅に改善されていることが分かる。
論文 参考訳（メタデータ） (2020-05-07T13:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。