Fugu-MT 論文翻訳(概要): Towards guarantees for parameter isolation in continual learning

論文の概要: Towards guarantees for parameter isolation in continual learning

arxiv url: http://arxiv.org/abs/2310.01165v1
Date: Mon, 2 Oct 2023 12:50:15 GMT
ステータス: 処理完了
システム内更新日: 2023-10-04 21:52:06.663168
Title: Towards guarantees for parameter isolation in continual learning
Title（参考訳）: 連続学習におけるパラメータ分離の保証に向けて
Authors: Giulia Lanzillotta, Sidak Pal Singh, Benjamin F. Grewe, Thomas Hofmann
Abstract要約: ニューラルネットワークの損失ランドスケープの幾何に着目し,学習と忘れの関連性について検討した。パラメータ分離に基づく連続学習アルゴリズムのファミリについて統一的な視点を提供する。
参考スコア（独自算出の注目度）: 31.785686292677813
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning has proved to be a successful paradigm for solving many challenges in machine learning. However, deep neural networks fail when trained sequentially on multiple tasks, a shortcoming known as catastrophic forgetting in the continual learning literature. Despite a recent flourish of learning algorithms successfully addressing this problem, we find that provable guarantees against catastrophic forgetting are lacking. In this work, we study the relationship between learning and forgetting by looking at the geometry of neural networks' loss landscape. We offer a unifying perspective on a family of continual learning algorithms, namely methods based on parameter isolation, and we establish guarantees on catastrophic forgetting for some of them.
Abstract（参考訳）: ディープラーニングは、機械学習における多くの課題を解決するための、成功のパラダイムであることが証明されている。しかし、ディープニューラルネットワークは、連続的な学習文献で破滅的な忘れ事として知られる、複数のタスクで逐次訓練された時に失敗する。近年,この問題に対処する学習アルゴリズムが普及しているにもかかわらず,破滅的な忘れ込みに対する保証が欠如していることが判明した。本研究では,ニューラルネットワークのロスランドスケープの幾何学的構造に着目し,学習と忘れとの関係について検討する。我々は,パラメータ分離に基づく連続学習アルゴリズムのファミリー,すなわちパラメータ分離に基づく手法について統一的な視点を提供し,その一部で破滅的な忘れを確実にする。

関連論文リスト

Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
論文参考訳（メタデータ） (2024-08-12T15:02:26Z)
Online learning of long-range dependencies [7.281873196153901]
本稿では、1つの推論パスのメモリと計算要求を2倍にする高性能なオンライン学習アルゴリズムを提案する。合成メモリ問題と挑戦的な長距離アリーナベンチマークスイートの実験により,我々のアルゴリズムが競合的に動作していることが判明した。この長距離依存を学習する能力は、脳内の学習に対する新たな視点を与え、ニューロモルフィックコンピューティングにおける有望な道を開く。
論文参考訳（メタデータ） (2023-05-25T11:37:01Z)
Class-Incremental Learning via Knowledge Amalgamation [14.513858688486701]
破滅的な忘れ込みは、継続的な学習環境におけるディープラーニングアルゴリズムの展開を妨げる重要な問題である。我々は、知識の融合(CFA)による破滅的な忘れを解消するための代替戦略を提唱した。 CFAは、過去のタスクに特化した複数の異種教師モデルから学生ネットワークを学習し、現在のオフライン手法に適用することができる。
論文参考訳（メタデータ） (2022-09-05T19:49:01Z)
On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文参考訳（メタデータ） (2022-03-08T09:57:48Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
論文参考訳（メタデータ） (2021-10-15T02:13:48Z)
Identifying and Exploiting Structures for Reliable Deep Learning [4.94950858749529]
ディープラーニングシステムを現実の世界で使用するためには信頼性が低い、いくつかの問題に目を向ける。これには、敵攻撃に対する脆弱性、誤った予測を過信していること、プライベートデータの扱いに適さないことなどが含まれる。本稿では,これらの問題を現実的に緩和するための計算コストの低いアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-08-16T13:40:01Z)
Quantum Continual Learning Overcoming Catastrophic Forgetting [1.1344265020822928]
破滅的な忘れは、機械学習モデルが、新しいタスクの学習プロセスの後に、以前に学習されたタスクの知識を忘れる可能性が高いという事実を物語っている。ニューラルネットワークに基づく古典的な学習モデルと同様に、量子学習システムは、様々なアプリケーションシーンから出現する分類タスクにおいて、そのような忘れられる問題に悩まされている。
論文参考訳（メタデータ） (2021-08-05T18:00:03Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2020-06-09T07:22:01Z)
Structure preserving deep learning [1.2263454117570958]
深層学習は、大きな関心事のトピックとして、前景に浮かび上がっています。ディープラーニングの適用には、いくつかの挑戦的な数学的問題がある。既存のディープラーニング手法の構造を数学的に理解する努力が増えている。
論文参考訳（メタデータ） (2020-06-05T10:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。