Fugu-MT 論文翻訳(概要): Revisiting Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship

論文の概要: Revisiting Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship

arxiv url: http://arxiv.org/abs/2112.15402v1
Date: Fri, 31 Dec 2021 12:05:22 GMT
ステータス: 処理完了
システム内更新日: 2022-01-03 13:58:22.804475
Title: Revisiting Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship
Title（参考訳）: 経験のリプレイを再考する: タスク-ワイズ関係の適応的調整による継続的な学習
Authors: Quanziang Wang, Yuexiang Li, Dong Wei, Renzhen Wang, Kai Ma, Yefeng Zheng, Deyu Meng
Abstract要約: 継続的な学習には、学習済みの知識を維持しながら、新しいタスクを学習するモデルが必要である。本稿では,過去から抽出した知識と新たなタスクの関係を適応的に調整する,双方向最適化に基づくメタ学習アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 55.93079269566318
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual learning requires models to learn new tasks while maintaining previously learned knowledge. Various algorithms have been proposed to address this real challenge. Till now, rehearsal-based methods, such as experience replay, have achieved state-of-the-art performance. These approaches save a small part of the data of the past tasks as a memory buffer to prevent models from forgetting previously learned knowledge. However, most of them treat every new task equally, i.e., fixed the hyperparameters of the framework while learning different new tasks. Such a setting lacks the consideration of the relationship/similarity between past and new tasks. For example, the previous knowledge/features learned from dogs are more beneficial for the identification of cats (new task), compared to those learned from buses. In this regard, we propose a meta learning algorithm based on bi-level optimization to adaptively tune the relationship between the knowledge extracted from the past and new tasks. Therefore, the model can find an appropriate direction of gradient during continual learning and avoid the serious overfitting problem on memory buffer. Extensive experiments are conducted on three publicly available datasets (i.e., CIFAR-10, CIFAR-100, and Tiny ImageNet). The experimental results demonstrate that the proposed method can consistently improve the performance of all baselines.
Abstract（参考訳）: 継続的な学習には、学習した知識を維持しながら新しいタスクを学習するモデルが必要である。この課題に対処するために様々なアルゴリズムが提案されている。現在、経験リプレイのようなリハーサルベースの手法は最先端のパフォーマンスを実現している。これらのアプローチは、過去のタスクのデータの一部をメモリバッファとして保存し、モデルが以前学んだ知識を忘れないようにする。しかし、それらの多くは全ての新しいタスク、すなわちフレームワークのハイパーパラメータを固定し、異なる新しいタスクを学習する。このような設定は、過去と新しいタスクの関係や類似性を考慮していない。例えば、犬から学んだ以前の知識や特徴は、バスから学んだものに比べて猫の識別に有益である(新しいタスク)。本稿では,過去から抽出した知識と新たなタスクの関係を適応的に調整する,双方向最適化に基づくメタ学習アルゴリズムを提案する。したがって、連続学習中の勾配の適切な方向を見つけることができ、メモリバッファの過度なオーバーフィッティング問題を回避することができる。大規模な実験は3つの公開データセット(CIFAR-10、CIFAR-100、Tiny ImageNet)で実施されている。実験の結果,提案手法は,すべてのベースラインの性能を一貫して向上できることがわかった。

関連論文リスト

Replay-enhanced Continual Reinforcement Learning [37.34722105058351]
本稿では,新しいタスクにおける既存のリプレイ方式の可塑性を大幅に向上させるリプレイ拡張手法であるRECALLを紹介する。 Continual Worldベンチマークの実験では、RECALLは純粋に完全なメモリリプレイよりもはるかに優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2023-11-20T06:21:52Z)
Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-09-15T17:10:51Z)
Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文参考訳（メタデータ） (2023-02-02T04:03:38Z)
Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文参考訳（メタデータ） (2022-03-13T13:22:41Z)
Consistent Representation Learning for Continual Relation Extraction [18.694012937149495]
関係埋め込みの安定性を維持する一貫した表現学習法を提案する。我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらす。
論文参考訳（メタデータ） (2022-03-05T12:16:34Z)
Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation [4.111899441919165]
従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
論文参考訳（メタデータ） (2022-03-04T05:19:09Z)
Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文参考訳（メタデータ） (2021-01-15T15:12:51Z)
Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文参考訳（メタデータ） (2020-11-19T18:47:40Z)
Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文参考訳（メタデータ） (2020-07-30T16:00:23Z)
Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
論文参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。