論文の概要: On the Robustness, Generalization, and Forgetting of Shape-Texture
Debiased Continual Learning
- arxiv url: http://arxiv.org/abs/2211.11174v1
- Date: Mon, 21 Nov 2022 04:36:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 20:41:49.397390
- Title: On the Robustness, Generalization, and Forgetting of Shape-Texture
Debiased Continual Learning
- Title(参考訳): 形状感劣化型連続学習のロバスト性, 一般化, 予測について
- Authors: Zenglin Shi, Ying Sun, Joo Hwee Lim, Mengmi Zhang
- Abstract要約: ニューラルネットワークの破滅的な忘れ問題に対処することによって、新しいタスクを学ぶ際に、古いタスクの優れたパフォーマンスを維持するための継続的な学習が進歩している。
本稿では、分散シフトに対する継続的な学習モデルの脆弱性に対応するために、その分布外ロバスト性をさらに考慮し、継続学習を推し進める。
本稿では,形状・テクスチャ・デバイアスド連続学習を提案する。その鍵となる考え方は,形状・テクスチャ・デバイアスドトレーニングを施した各タスクに対して,一般化可能・堅牢な表現を学習することである。
- 参考スコア(独自算出の注目度): 17.738009527967026
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Tremendous progress has been made in continual learning to maintain good
performance on old tasks when learning new tasks by tackling the catastrophic
forgetting problem of neural networks. This paper advances continual learning
by further considering its out-of-distribution robustness, in response to the
vulnerability of continually trained models to distribution shifts (e.g., due
to data corruptions and domain shifts) in inference. To this end, we propose
shape-texture debiased continual learning. The key idea is to learn
generalizable and robust representations for each task with shape-texture
debiased training. In order to transform standard continual learning to
shape-texture debiased continual learning, we propose shape-texture debiased
data generation and online shape-texture debiased self-distillation.
Experiments on six datasets demonstrate the benefits of our approach in
improving generalization and robustness, as well as reducing forgetting. Our
analysis on the flatness of the loss landscape explains the advantages.
Moreover, our approach can be easily combined with new advanced architectures
such as vision transformer, and applied to more challenging scenarios such as
exemplar-free continual learning.
- Abstract(参考訳): ニューラルネットワークの破滅的な忘れ問題に対処することによって、新しいタスクを学ぶ際に、古いタスクの優れたパフォーマンスを維持するための継続的な学習が進歩している。
本稿では,分布シフト(データ破損やドメインシフトなど)に対する継続的に訓練されたモデルの脆弱性に対応して,分布のロバスト性をさらに考慮し,連続学習を進化させる。
そこで,この目的のために,形文不偏連続学習を提案する。
鍵となるアイデアは、各タスクの一般化とロバストな表現を、シェイプテキストのデバイアストレーニングで学習することだ。
本研究では,標準連続学習を形状・テクスチュア・デバイアスド連続学習に変換するために,形状・テクスチュア・デバイアスドデータ生成とオンライン形状・テクスチュア・デバイアスド自己蒸留を提案する。
6つのデータセットの実験では、一般化とロバスト性の改善、および忘れの低減に対するアプローチの利点が示されている。
損失景観の平坦性に関する我々の分析は、その利点を説明する。
さらに,視覚トランスフォーマーなどの新たな高度なアーキテクチャと容易に組み合わせることができ,exemplar-free continual learningのようなより困難なシナリオにも適用できる。
関連論文リスト
- Replay-enhanced Continual Reinforcement Learning [37.34722105058351]
本稿では,新しいタスクにおける既存のリプレイ方式の可塑性を大幅に向上させるリプレイ拡張手法であるRECALLを紹介する。
Continual Worldベンチマークの実験では、RECALLは純粋に完全なメモリリプレイよりもはるかに優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-11-20T06:21:52Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2023-06-14T02:09:26Z) - A Comprehensive Survey of Continual Learning: Theory, Method and
Application [64.23253420555989]
本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。
連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
論文 参考訳(メタデータ) (2023-01-31T11:34:56Z) - Variational Empowerment as Representation Learning for Goal-Based
Reinforcement Learning [114.07623388322048]
本稿では,標準目標条件付きRL (GCRL) を目的変動エンパワーメントによってカプセル化する方法について論じる。
我々の研究は、ゴールベースRLで表現学習技術を評価し、分析し、開発する新しい基礎を築いた。
論文 参考訳(メタデータ) (2021-06-02T18:12:26Z) - Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。
クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-14T23:46:17Z) - Continual Learning for Text Classification with Information
Disentanglement Based Regularization [18.258948837964724]
テキスト分類に基づく連続学習のための情報分散に基づく正規化手法を提案する。
大規模ベンチマーク実験の結果,本手法の有効性が示された。
論文 参考訳(メタデータ) (2021-04-12T14:17:43Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳(メタデータ) (2020-07-30T16:00:23Z) - Automated Relational Meta-learning [95.02216511235191]
本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。
我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-01-03T07:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。