論文の概要: On the Robustness, Generalization, and Forgetting of Shape-Texture Debiased Continual Learning

• arxiv url: http://arxiv.org/abs/2211.11174v1
• Date: Mon, 21 Nov 2022 04:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 20:41:49.397390
• Title: On the Robustness, Generalization, and Forgetting of Shape-Texture Debiased Continual Learning
• Title（参考訳）: 形状感劣化型連続学習のロバスト性, 一般化, 予測について
• Authors: Zenglin Shi, Ying Sun, Joo Hwee Lim, Mengmi Zhang
• Abstract要約: ニューラルネットワークの破滅的な忘れ問題に対処することによって、新しいタスクを学ぶ際に、古いタスクの優れたパフォーマンスを維持するための継続的な学習が進歩している。 本稿では、分散シフトに対する継続的な学習モデルの脆弱性に対応するために、その分布外ロバスト性をさらに考慮し、継続学習を推し進める。 本稿では,形状・テクスチャ・デバイアスド連続学習を提案する。その鍵となる考え方は,形状・テクスチャ・デバイアスドトレーニングを施した各タスクに対して,一般化可能・堅牢な表現を学習することである。
• 参考スコア（独自算出の注目度）: 17.738009527967026
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tremendous progress has been made in continual learning to maintain good performance on old tasks when learning new tasks by tackling the catastrophic forgetting problem of neural networks. This paper advances continual learning by further considering its out-of-distribution robustness, in response to the vulnerability of continually trained models to distribution shifts (e.g., due to data corruptions and domain shifts) in inference. To this end, we propose shape-texture debiased continual learning. The key idea is to learn generalizable and robust representations for each task with shape-texture debiased training. In order to transform standard continual learning to shape-texture debiased continual learning, we propose shape-texture debiased data generation and online shape-texture debiased self-distillation. Experiments on six datasets demonstrate the benefits of our approach in improving generalization and robustness, as well as reducing forgetting. Our analysis on the flatness of the loss landscape explains the advantages. Moreover, our approach can be easily combined with new advanced architectures such as vision transformer, and applied to more challenging scenarios such as exemplar-free continual learning.
• Abstract（参考訳）: ニューラルネットワークの破滅的な忘れ問題に対処することによって、新しいタスクを学ぶ際に、古いタスクの優れたパフォーマンスを維持するための継続的な学習が進歩している。 本稿では,分布シフト(データ破損やドメインシフトなど)に対する継続的に訓練されたモデルの脆弱性に対応して,分布のロバスト性をさらに考慮し,連続学習を進化させる。 そこで,この目的のために,形文不偏連続学習を提案する。 鍵となるアイデアは、各タスクの一般化とロバストな表現を、シェイプテキストのデバイアストレーニングで学習することだ。 本研究では,標準連続学習を形状・テクスチュア・デバイアスド連続学習に変換するために,形状・テクスチュア・デバイアスドデータ生成とオンライン形状・テクスチュア・デバイアスド自己蒸留を提案する。 6つのデータセットの実験では、一般化とロバスト性の改善、および忘れの低減に対するアプローチの利点が示されている。 損失景観の平坦性に関する我々の分析は、その利点を説明する。 さらに,視覚トランスフォーマーなどの新たな高度なアーキテクチャと容易に組み合わせることができ,exemplar-free continual learningのようなより困難なシナリオにも適用できる。

関連論文リスト

• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大きな言語モデル(LLM)は、一度のトレーニングのために最新の情報を提供するのに苦労することが多い。 効率的なヒューマンラーニングにおけるFeynman Techniqueの顕著な成功に感銘を受け、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• Selecting Related Knowledge via Efficient Channel Attention for Online Continual Learning [4.109784267309124]
  Selecting Related Knowledge for Online Continual Learning (SRKOCL) という新しいフレームワークを提案する。 我々のモデルはまた、破滅的な忘れを回避すべく、経験的なリプレイと知識の蒸留を組み合わせる。
  論文  参考訳（メタデータ） (2022-09-09T09:59:54Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。