論文の概要: Mitigating Catastrophic Forgetting in Long Short-Term Memory Networks
- arxiv url: http://arxiv.org/abs/2305.17244v1
- Date: Fri, 26 May 2023 20:17:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 21:01:44.025483
- Title: Mitigating Catastrophic Forgetting in Long Short-Term Memory Networks
- Title(参考訳): 長期記憶ネットワークにおける壊滅的記憶の軽減
- Authors: Ketaki Joshi, Raghavendra Pradyumna Pothukuchi, Andre Wibisono,
Abhishek Bhattacharjee
- Abstract要約: シーケンシャルデータに対する継続的な学習は多くの機械学習(ML)デプロイメントにおいて重要である。
LSTMネットワークは破滅的な忘れ込みに悩まされており、複数のタスクを継続的に学習する能力に制限がある。
LSTMネットワークにおける破滅的な忘れは、2つの斬新で容易に実装可能な方法で克服できることがわかった。
- 参考スコア(独自算出の注目度): 7.291687946822538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning on sequential data is critical for many machine learning
(ML) deployments. Unfortunately, LSTM networks, which are commonly used to
learn on sequential data, suffer from catastrophic forgetting and are limited
in their ability to learn multiple tasks continually. We discover that
catastrophic forgetting in LSTM networks can be overcome in two novel and
readily-implementable ways -- separating the LSTM memory either for each task
or for each target label. Our approach eschews the need for explicit
regularization, hypernetworks, and other complex methods. We quantify the
benefits of our approach on recently-proposed LSTM networks for computer memory
access prefetching, an important sequential learning problem in ML-based
computer system optimization. Compared to state-of-the-art weight
regularization methods to mitigate catastrophic forgetting, our approach is
simple, effective, and enables faster learning. We also show that our proposal
enables the use of small, non-regularized LSTM networks for complex natural
language processing in the offline learning scenario, which was previously
considered difficult.
- Abstract(参考訳): シーケンシャルデータに対する継続的な学習は多くの機械学習(ML)デプロイメントにおいて重要である。
残念ながら、シーケンシャルなデータで学ぶのによく使われるLSTMネットワークは破滅的な忘れ込みに悩まされており、複数のタスクを継続的に学習する能力に制限がある。
LSTMネットワークにおける破滅的な忘れは、2つの斬新で容易に実装可能な方法で克服可能であることを発見し、LSTMメモリを各タスクまたは各ターゲットラベルで分離する。
我々のアプローチは、明示的な正規化、ハイパーネットワーク、その他の複雑なメソッドの必要性を高めます。
我々は,MLベースのコンピュータシステム最適化において重要な逐次学習問題である,コンピュータメモリアクセスプリフェッチのための最近提案されたLSTMネットワークに対するアプローチの利点を定量化する。
破滅的な忘れを和らげるための最先端の重み正規化手法と比較して、我々のアプローチは単純で効果的であり、より高速な学習を可能にする。
また,本提案では,従来困難とされていたオフライン学習シナリオにおいて,複雑な自然言語処理に小型で正規化されていないlstmネットワークを使用できることを示す。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。
私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。
我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
論文 参考訳(メタデータ) (2022-09-15T04:54:02Z) - Learning towards Synchronous Network Memorizability and Generalizability
for Continual Segmentation across Multiple Sites [52.84959869494459]
臨床実践では、複数のサイトから連続的なデータストリームを継続的に学習するために、セグメンテーションネットワークが必要であることが多い。
既存の方法は、通常、以前のサイトのネットワーク記憶可能性や、目に見えないサイトの一般化可能性に制限される。
本稿では,SMG学習フレームワークの提案により,同期記憶可能性と一般化可能性の問題に取り組むことを目的とする。
論文 参考訳(メタデータ) (2022-06-14T13:04:36Z) - LSTMSPLIT: Effective SPLIT Learning based LSTM on Sequential Time-Series
Data [3.9011223632827385]
本稿では,LSTMネットワークを用いたSLアーキテクチャを用いて,時系列データを複数のクライアントで分類するLSTMSPLITを提案する。
提案手法であるLSTMSPLITは, 心電図データセットとヒト活動認識データセットを用いたSplit-1DCNN法と比較して, 精度が向上した。
論文 参考訳(メタデータ) (2022-03-08T11:44:12Z) - Long short-term relevance learning [0.0]
ネットワークアーキテクチャに効率的なスパースベイズ訓練アルゴリズムを導入する。
提案手法は,関連する神経接続を自動的に決定し,それに応じて適応する。
自己規制フレームワークは、適切なネットワークアーキテクチャとサイズに関する事前知識を必要としないことを示す。
論文 参考訳(メタデータ) (2021-06-21T09:07:17Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。
La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
論文 参考訳(メタデータ) (2020-07-27T23:07:01Z) - Neuromodulated Neural Architectures with Local Error Signals for
Memory-Constrained Online Continual Learning [4.2903672492917755]
我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。
一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2020-07-16T07:41:23Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳(メタデータ) (2020-06-22T10:05:12Z) - LSM: Learning Subspace Minimization for Low-level Vision [78.27774638569218]
我々は、正規化項を学習可能な部分空間制約に置き換え、データ項をドメイン知識を活用するために保存する。
この学習サブスペース最小化(LSM)フレームワークは、多くの低レベル視覚タスクのネットワーク構造とパラメータを統一する。
インタラクティブな画像セグメンテーション、ビデオセグメンテーション、ステレオマッチング、オプティカルフローを含む4つの低レベルタスクについてLSMフレームワークを実証し、様々なデータセット上でネットワークを検証した。
論文 参考訳(メタデータ) (2020-04-20T10:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。