論文の概要: Learn-Prune-Share for Lifelong Learning
- arxiv url: http://arxiv.org/abs/2012.06956v1
- Date: Sun, 13 Dec 2020 04:05:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-09 12:49:05.590348
- Title: Learn-Prune-Share for Lifelong Learning
- Title（参考訳）: 生涯学習のための学習習慣共有
- Authors: Zifeng Wang, Tong Jian, Kaushik Chowdhury, Yanzhi Wang, Jennifer Dy,
Stratis Ioannidis
- Abstract要約: 本稿では,破滅的な忘れ,パシモニー,知識再利用の課題を同時に解決する学習規則共有(LPS)アルゴリズムを提案する。
LPSはADMMベースのプルーニング戦略を通じて、ネットワークをタスク固有のパーティションに分割する。
これにより忘れられなくなり、パルシモニーは維持される。
- 参考スコア（独自算出の注目度）: 25.678753894026357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In lifelong learning, we wish to maintain and update a model (e.g., a neural
network classifier) in the presence of new classification tasks that arrive
sequentially. In this paper, we propose a learn-prune-share (LPS) algorithm
which addresses the challenges of catastrophic forgetting, parsimony, and
knowledge reuse simultaneously. LPS splits the network into task-specific
partitions via an ADMM-based pruning strategy. This leads to no forgetting,
while maintaining parsimony. Moreover, LPS integrates a novel selective
knowledge sharing scheme into this ADMM optimization framework. This enables
adaptive knowledge sharing in an end-to-end fashion. Comprehensive experimental
results on two lifelong learning benchmark datasets and a challenging
real-world radio frequency fingerprinting dataset are provided to demonstrate
the effectiveness of our approach. Our experiments show that LPS consistently
outperforms multiple state-of-the-art competitors.
- Abstract（参考訳）: 生涯学習では、逐次的にやってくる新しい分類タスクが存在する場合、モデル(ニューラルネットワーク分類器など)の維持と更新を希望する。
本稿では,破滅的な忘れ,パーシモニー,知識再利用の課題を同時に解決する学習原理共有(LPS)アルゴリズムを提案する。
LPSはADMMベースのプルーニング戦略を通じて、ネットワークをタスク固有のパーティションに分割する。
これにより忘れられなくなり、パルシモニーは維持される。
さらに,新たな知識共有方式をADMM最適化フレームワークに統合した。
これにより、エンドツーエンドで適応的な知識共有が可能になる。
本手法の有効性を実証するために,生涯学習ベンチマークデータセット2セットと実世界無線フィンガープリンティングデータセットの総合実験を行った。
我々の実験は、LPSが複数の最先端の競合より一貫して優れていることを示している。
関連論文リスト
- Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳（メタデータ） (2024-01-29T18:27:52Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳（メタデータ） (2023-08-26T07:55:32Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z) - Lifelong Reinforcement Learning with Modulating Masks [16.24639836636365]
生涯学習は、生物学的学習と同様、生涯を通じて継続的に漸進的に学習するAIシステムを作成することを目的としている。
これまでの試みでは、破滅的な忘れ、タスク間の干渉、過去の知識を活用できないといった問題に直面してきた。
マスクによる生涯強化学習は、生涯学習、より複雑なタスクを学習するための知識の構成、より効率的かつ高速な学習のための知識再利用への有望なアプローチであることを示す。
論文 参考訳（メタデータ） (2022-12-21T15:49:20Z) - Mixture-of-Variational-Experts for Continual Learning [0.0]
学習と忘れのトレードオフを促進する最適原理を提案する。
我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。
MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
論文 参考訳（メタデータ） (2021-10-25T06:32:06Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳（メタデータ） (2021-08-03T19:24:25Z) - Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。
提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。
この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文 参考訳（メタデータ） (2020-10-23T11:18:20Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。