論文の概要: The Role of Robust Generalization in Continual Learning: Better Transfer
and Less Forgetting
- arxiv url: http://arxiv.org/abs/2211.11174v4
- Date: Sat, 16 Dec 2023 08:34:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 21:16:51.220114
- Title: The Role of Robust Generalization in Continual Learning: Better Transfer
and Less Forgetting
- Title(参考訳): 連続学習におけるロバスト一般化の役割--転校の促進と忘れの軽減
- Authors: Zenglin Shi, Ying Sun, Joo Hwee Lim, Mengmi Zhang
- Abstract要約: 本稿では,連続学習(CL)におけるロバストな一般化の役割について検討する。
近年の研究では、ロバストな一般化を示すために訓練されたモデルは、より平坦な局所性ミニマを見出す傾向にある。
本稿では,各タスクの形状とテクスチャ表現の両方を学習するオンライン形状・テクスチャ自己蒸留(STSD)手法を提案する。
- 参考スコア(独自算出の注目度): 20.11335643702469
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper considers learning a sequence of tasks continually with the
objectives of generalizing over unseen data regardless of its distribution,
accumulating knowledge and transferring knowledge across tasks. To the best of
our knowledge, no existing technique can accomplish all of these objectives
simultaneously. This paper proposes such a technique by investigating the role
of robust generalization in Continual Learning (CL). Recent findings show that
models trained to exhibit robust generalization not only generalize better, but
also demonstrate improved transferability and tend to find flatter local
minima. This motivates us to achieve robust generalization in each task in CL,
facilitating learning a new task and reducing the risk of forgetting previously
learned tasks. To achieve this, we propose a new online shape-texture
self-distillation (STSD) method that learns both shape and texture
representations for each task, improving robust generalization. Extensive
experiments demonstrate that our approach can be easily combined with existing
CL methods to improve generalization, encourage knowledge transfer, and reduce
forgetting. We also show that our approach finds flatter local minima, further
highlighting the importance of improving robust generalization in CL. Our
proposed technique is a significant step forward in achieving the
aforementioned CL objectives simultaneously.
- Abstract(参考訳): 本稿では,その分布によらず,目に見えないデータを一般化し,知識を蓄積し,タスク間で知識を伝達するという目的から,タスクの連続を継続的に学習することを検討する。
私たちの知る限りでは、これらのすべての目的を同時に達成できる既存のテクニックはありません。
本稿では,連続学習(CL)におけるロバストな一般化の役割を解明する手法を提案する。
近年の研究では、頑健な一般化を示すために訓練されたモデルは、より一般化されるだけでなく、伝達性も向上し、より平坦な局所ミニマを見つける傾向にあることが示された。
これにより、CLにおける各タスクの堅牢な一般化を実現し、新しいタスクの学習を容易にし、以前に学習したタスクを忘れるリスクを減らすことができる。
そこで本研究では,各タスクの形状とテクスチャ表現の両方を学習し,堅牢な一般化を向上する,新しいオンライン形状・テクスチャ自己蒸留法を提案する。
大規模な実験により,本手法を既存のCL手法と簡単に組み合わせることで,一般化の促進,知識伝達の促進,忘れの軽減が図られた。
また,我々のアプローチはより平坦な局所的ミニマを見出し,clにおけるロバスト一般化の改善の重要性をさらに強調する。
提案手法は,上記のCL目標を同時に達成するための重要な一歩である。
関連論文リスト
- Replay-enhanced Continual Reinforcement Learning [37.34722105058351]
本稿では,新しいタスクにおける既存のリプレイ方式の可塑性を大幅に向上させるリプレイ拡張手法であるRECALLを紹介する。
Continual Worldベンチマークの実験では、RECALLは純粋に完全なメモリリプレイよりもはるかに優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-11-20T06:21:52Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2023-06-14T02:09:26Z) - A Comprehensive Survey of Continual Learning: Theory, Method and
Application [64.23253420555989]
本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。
連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
論文 参考訳(メタデータ) (2023-01-31T11:34:56Z) - Variational Empowerment as Representation Learning for Goal-Based
Reinforcement Learning [114.07623388322048]
本稿では,標準目標条件付きRL (GCRL) を目的変動エンパワーメントによってカプセル化する方法について論じる。
我々の研究は、ゴールベースRLで表現学習技術を評価し、分析し、開発する新しい基礎を築いた。
論文 参考訳(メタデータ) (2021-06-02T18:12:26Z) - Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。
クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-14T23:46:17Z) - Continual Learning for Text Classification with Information
Disentanglement Based Regularization [18.258948837964724]
テキスト分類に基づく連続学習のための情報分散に基づく正規化手法を提案する。
大規模ベンチマーク実験の結果,本手法の有効性が示された。
論文 参考訳(メタデータ) (2021-04-12T14:17:43Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳(メタデータ) (2020-07-30T16:00:23Z) - Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。
我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-01-03T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。