論文の概要: Self-paced Weight Consolidation for Continual Learning

• arxiv url: http://arxiv.org/abs/2307.10845v1
• Date: Thu, 20 Jul 2023 13:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 12:59:44.001375
• Title: Self-paced Weight Consolidation for Continual Learning
• Title（参考訳）: 連続学習のための自己ペース重み統合
• Authors: Wei Cong, Yang Cong, Gan Sun, Yuyang Liu, Jiahua Dong
• Abstract要約: 連続学習アルゴリズムは、逐次的なタスク学習設定における破滅的な忘れ込みを防ぐのに人気がある。 継続学習を実現するために,自己ペーストウェイト統合(spWC)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.27729549041708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning algorithms which keep the parameters of new tasks close to that of previous tasks, are popular in preventing catastrophic forgetting in sequential task learning settings. However, 1) the performance for the new continual learner will be degraded without distinguishing the contributions of previously learned tasks; 2) the computational cost will be greatly increased with the number of tasks, since most existing algorithms need to regularize all previous tasks when learning new tasks. To address the above challenges, we propose a self-paced Weight Consolidation (spWC) framework to attain robust continual learning via evaluating the discriminative contributions of previous tasks. To be specific, we develop a self-paced regularization to reflect the priorities of past tasks via measuring difficulty based on key performance indicator (i.e., accuracy). When encountering a new task, all previous tasks are sorted from "difficult" to "easy" based on the priorities. Then the parameters of the new continual learner will be learned via selectively maintaining the knowledge amongst more difficult past tasks, which could well overcome catastrophic forgetting with less computational cost. We adopt an alternative convex search to iteratively update the model parameters and priority weights in the bi-convex formulation. The proposed spWC framework is plug-and-play, which is applicable to most continual learning algorithms (e.g., EWC, MAS and RCIL) in different directions (e.g., classification and segmentation). Experimental results on several public benchmark datasets demonstrate that our proposed framework can effectively improve performance when compared with other popular continual learning algorithms.
• Abstract（参考訳）: 新しいタスクのパラメータを以前のタスクに近く保持する連続学習アルゴリズムは、シーケンシャルなタスク学習設定における破滅的な忘れの防止に人気がある。 しかし、 1) 新たな継続学習者の業績は,以前に学習した課題の貢献を区別することなく劣化する。 2) 既存のアルゴリズムでは,新しいタスクを学習する際には,全てのタスクを正規化する必要があるため,タスク数とともに計算コストが大幅に向上する。 上記の課題に対処するために,従来の課題の判別的貢献を評価することによって,堅牢な連続学習を実現するための自己ペース重み統合(spwc)フレームワークを提案する。 具体的には,重要性能指標(精度)に基づく難易度を測定することで,過去のタスクの優先順位を反映した自己対応型正規化を開発する。 新しいタスクに遭遇すると、すべてのタスクは優先順位に基づいて"difficult"から"easy"にソートされる。 すると、新しい連続学習者のパラメータは、より困難な過去のタスクの知識を選択的に維持することで学習される。 我々は,bi-convex形式におけるモデルパラメータと優先度重みを反復的に更新するために,代替凸探索を採用する。 提案したspWCフレームワークはプラグイン・アンド・プレイであり、ほとんどの連続学習アルゴリズム(例えばEWC、MAS、RCIL)に異なる方向(例えば分類とセグメンテーション)で適用することができる。 いくつかの公開ベンチマークデータセットの実験結果から,提案するフレームワークは,他の一般的な連続学習アルゴリズムと比較して,性能を効果的に向上できることが示された。

関連論文リスト

• Continual Learning of Numerous Tasks from Long-tail Distributions [17.706669222987273]
  継続的な学習は、以前獲得した知識を維持しながら、新しいタスクを学習し、適応するモデルの開発に焦点を当てる。 既存の連続学習アルゴリズムは、通常、一定の大きさの少数のタスクを伴い、現実世界の学習シナリオを正確に表現しないことがある。 本稿では,従来のタスクから第2モーメントの重み付け平均を維持することで,アダムの状態を再利用する手法を提案する。 提案手法は,既存のほとんどの連続学習アルゴリズムと互換性があり,少ない計算量やメモリコストで忘れを効果的に削減できることを実証する。
  論文  参考訳（メタデータ） (2024-04-03T13:56:33Z)
• Minimax Forward and Backward Learning of Evolving Tasks with Performance Guarantees [6.008132390640294]
  タスクの増え続けるシーケンスの漸進的な学習は、正確な分類を可能にすることを約束する。 本稿では,前向き学習と後向き学習を効果的に活用するインクリメンタルミニマックスリスク分類器(IMRC)を提案する。 IMRCは、特にサンプルサイズを減らすために、大幅な性能改善をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-10-24T16:21:41Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning with Distributed Optimization: Does CoCoA Forget? [0.0]
  タスクが順次到着する継続的学習問題に着目する。 目指すのは、新しく到着したタスクに対して、以前見たタスクのパフォーマンスを低下させることなく、うまく機能することである。 分散学習アルゴリズムCOCOAについて検討する。
  論文  参考訳（メタデータ） (2022-11-30T13:49:43Z)
• Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
  非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。 我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。 これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-21T13:18:11Z)
• DIODE: Dilatable Incremental Object Detection [15.59425584971872]
  従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。 多段階インクリメンタル検出タスクのための拡張可能なインクリメンタルオブジェクト検出器(DIODE)を提案する。 提案手法は,新たに学習した各タスクのパラメータ数を1.2%増加させることで,最大6.4%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-08-12T09:45:57Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)
• Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
  ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。 タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。 私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
  論文  参考訳（メタデータ） (2021-03-30T18:11:30Z)
• Auxiliary Task Reweighting for Minimum-data Learning [118.69683270159108]
  教師付き学習は大量のトレーニングデータを必要とし、ラベル付きデータが不足しているアプリケーションを制限する。 データ不足を補う1つの方法は、補助的なタスクを利用して、メインタスクに対する追加の監視を提供することである。 そこで本研究では,主タスクにおけるデータ要求を減らし,補助タスクを自動的に重み付けする手法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T08:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。