論文の概要: Unveiling the Tapestry: the Interplay of Generalization and Forgetting in Continual Learning

• arxiv url: http://arxiv.org/abs/2211.11174v6
• Date: Sat, 17 Aug 2024 06:49:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 06:43:37.238743
• Title: Unveiling the Tapestry: the Interplay of Generalization and Forgetting in Continual Learning
• Title（参考訳）: タペストリーの展開--連続学習における一般化と予測の相互作用
• Authors: Zenglin Shi, Jing Jie, Ying Sun, Joo Hwee Lim, Mengmi Zhang,
• Abstract要約: AIでは、一般化とは、与えられたタスクに関連するアウト・オブ・ディストリビューション・データに対して、トレーニングされたデータ以外にうまく機能するモデルの能力を指す。 継続的な学習方法は、しばしば破滅的な忘れを軽減し、以前のタスクからの知識を確実に保持するメカニズムを含んでいる。 本稿では, 形状テクスチュア整合性規則化(STCR)と呼ばれる, 連続的な学習を支援する簡易かつ効果的な手法を提案する。
• 参考スコア（独自算出の注目度）: 18.61040106667249
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In AI, generalization refers to a model's ability to perform well on out-of-distribution data related to the given task, beyond the data it was trained on. For an AI agent to excel, it must also possess the continual learning capability, whereby an agent incrementally learns to perform a sequence of tasks without forgetting the previously acquired knowledge to solve the old tasks. Intuitively, generalization within a task allows the model to learn underlying features that can readily be applied to novel tasks, facilitating quicker learning and enhanced performance in subsequent tasks within a continual learning framework. Conversely, continual learning methods often include mechanisms to mitigate catastrophic forgetting, ensuring that knowledge from earlier tasks is retained. This preservation of knowledge over tasks plays a role in enhancing generalization for the ongoing task at hand. Despite the intuitive appeal of the interplay of both abilities, existing literature on continual learning and generalization has proceeded separately. In the preliminary effort to promote studies that bridge both fields, we first present empirical evidence showing that each of these fields has a mutually positive effect on the other. Next, building upon this finding, we introduce a simple and effective technique known as Shape-Texture Consistency Regularization (STCR), which caters to continual learning. STCR learns both shape and texture representations for each task, consequently enhancing generalization and thereby mitigating forgetting. Remarkably, extensive experiments validate that our STCR, can be seamlessly integrated with existing continual learning methods, where its performance surpasses these continual learning methods in isolation or when combined with established generalization techniques by a large margin. Our data and source code will be made publicly available upon publication.
• Abstract（参考訳）: AIでは、一般化とは、与えられたタスクに関連するアウト・オブ・ディストリビューション・データに対して、トレーニングされたデータ以外にうまく機能するモデルの能力を指す。 AIエージェントが優れているためには、継続的な学習能力も必要であり、エージェントは、古いタスクを解決するために、以前取得した知識を忘れずに、段階的にタスクのシーケンスを実行することを学習する。 直感的には、タスク内の一般化は、モデルが新しいタスクに容易に適用可能な基礎的な機能を学ぶことを可能にする。 逆に、連続的な学習手法は、しばしば破滅的な忘れを軽減し、以前のタスクからの知識を確実に保持するメカニズムを含んでいる。 このタスク上の知識の保存は、現在進行中のタスクの一般化を促進する役割を担っている。 両能力の相互作用の直感的なアピールにもかかわらず、継続学習と一般化に関する既存の文献は別々に進められている。 両分野を橋渡しする研究を促進するための予備的な取り組みとして,まず,両分野が相互に正の効果を持つことを示す実証的証拠を提示する。 次に, この発見に基づいて, 連続学習を支援する形状テクスチュア一貫性規則化(STCR)と呼ばれる, シンプルで効果的な手法を導入する。 STCRは各タスクの形状とテクスチャ表現の両方を学習し、一般化を強化し、忘れを緩和する。 注目すべきは、我々のSTCRが既存の連続学習手法とシームレスに統合可能であることであり、その性能は、これらの連続学習手法を単独で、あるいは、確立された一般化手法と大きなマージンで組み合わせた場合に、その性能が超えることである。 当社のデータとソースコードは、公開時に公開されます。

関連論文リスト

• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大きな言語モデル(LLM)は、一度のトレーニングのために最新の情報を提供するのに苦労することが多い。 効率的なヒューマンラーニングにおけるFeynman Techniqueの顕著な成功に感銘を受け、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• Selecting Related Knowledge via Efficient Channel Attention for Online Continual Learning [4.109784267309124]
  Selecting Related Knowledge for Online Continual Learning (SRKOCL) という新しいフレームワークを提案する。 我々のモデルはまた、破滅的な忘れを回避すべく、経験的なリプレイと知識の蒸留を組み合わせる。
  論文  参考訳（メタデータ） (2022-09-09T09:59:54Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。