論文の概要: Recall-Oriented Continual Learning with Generative Adversarial Meta-Model

• arxiv url: http://arxiv.org/abs/2403.03082v1
• Date: Tue, 5 Mar 2024 16:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 14:08:49.999520
• Title: Recall-Oriented Continual Learning with Generative Adversarial Meta-Model
• Title（参考訳）: 生成的adversarialメタモデルを用いたリコール指向連続学習
• Authors: Haneol Kang, Dong-Wan Choi
• Abstract要約: 本稿では,安定性・塑性ジレンマに対処するリコール指向連続学習フレームワークを提案する。 人間の脳が安定性と可塑性のメカニズムを分離する能力に触発されて、私たちのフレームワークは2段階のアーキテクチャで構成されています。 我々は,新たな知識を効果的に学習するだけでなく,従来の知識の安定性も高いことを示す。
• 参考スコア（独自算出の注目度）: 5.710971447109951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The stability-plasticity dilemma is a major challenge in continual learning, as it involves balancing the conflicting objectives of maintaining performance on previous tasks while learning new tasks. In this paper, we propose the recall-oriented continual learning framework to address this challenge. Inspired by the human brain's ability to separate the mechanisms responsible for stability and plasticity, our framework consists of a two-level architecture where an inference network effectively acquires new knowledge and a generative network recalls past knowledge when necessary. In particular, to maximize the stability of past knowledge, we investigate the complexity of knowledge depending on different representations, and thereby introducing generative adversarial meta-model (GAMM) that incrementally learns task-specific parameters instead of input data samples of the task. Through our experiments, we show that our framework not only effectively learns new knowledge without any disruption but also achieves high stability of previous knowledge in both task-aware and task-agnostic learning scenarios. Our code is available at: https://github.com/bigdata-inha/recall-oriented-cl-framework.
• Abstract（参考訳）: 安定性-塑性ジレンマは、新しいタスクを学習しながら、以前のタスクのパフォーマンスを維持するという相反する目標のバランスを伴うため、継続的な学習において大きな課題である。 本稿では,この課題に対処するリコール指向連続学習フレームワークを提案する。 人間の脳が安定性と可塑性に責任を負うメカニズムを分離する能力にインスパイアされた枠組みは,推論ネットワークが新たな知識を効果的に獲得し,生成ネットワークが必要に応じて過去の知識を想起する2段階のアーキテクチャで構成されている。 特に、過去の知識の安定性を最大化するために、異なる表現によって知識の複雑さを調査し、タスクの入力データサンプルの代わりにタスク固有のパラメータを漸進的に学習するGAMM(generative adversarial meta-model)を導入する。 実験により,新しい知識を効果的に学習できるだけでなく,タスク認識とタスク非依存の学習シナリオにおいて,従来の知識を高い安定性で獲得できることを示した。 私たちのコードは、https://github.com/bigdata-inha/recall-oriented-cl-frameworkで利用可能です。

関連論文リスト

• Hierarchical Subspaces of Policies for Continual Offline Reinforcement Learning [19.463863037999054]
  自律型ロボット工学やビデオゲームシミュレーションのような動的ドメインでは、エージェントは、以前獲得したスキルを維持しながら、新しいタスクに継続的に適応する必要がある。 継続的強化学習(Continuous Reinforcement Learning)として知られるこの継続的なプロセスは、過去の知識を忘れるリスクを含む重要な課題を提示します。 オフラインナビゲーション設定における連続学習を目的とした新しいフレームワークであるHILOW(HIerarchical LOW-rank Subspaces of Policies)を紹介する。
  論文  参考訳（メタデータ） (2024-12-19T14:00:03Z)
• A Unified Framework for Continual Learning and Unlearning [9.538733681436836]
  継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することにより,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T06:49:59Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Progressive Learning without Forgetting [8.563323015260709]
  連続学習(CL)のパラダイムにおける2つの課題に焦点をあてる。 PLwFは従来のタスクから関数を導入し、各タスクの最も信頼できる知識を含む知識空間を構築する。 信用割当は、投射を通して勾配の衝突を取り除くことによって、綱引きのダイナミクスを制御する。 他のCL法と比較して,生データに頼らずとも,優れた結果が得られている。
  論文  参考訳（メタデータ） (2022-11-28T10:53:14Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Transferability in Deep Learning: A Survey [80.67296873915176]
  知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。 本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。 我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-15T15:03:17Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。