論文の概要: Posterior Meta-Replay for Continual Learning
- arxiv url: http://arxiv.org/abs/2103.01133v1
- Date: Mon, 1 Mar 2021 17:08:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:23:29.334787
- Title: Posterior Meta-Replay for Continual Learning
- Title(参考訳): 連続学習のための後部メタ再生
- Authors: Christian Henning, Maria R. Cervera, Francesco D'Angelo, Johannes von
Oswald, Regina Traber, Benjamin Ehret, Seijin Kobayashi, Jo\~ao Sacramento,
Benjamin F. Grewe
- Abstract要約: 連続学習(CL)アルゴリズムは最近、i.i.dでトレーニングする必要性を克服しようとするため、多くの注目を集めている。
未知のターゲットデータ分布からのサンプル。
ベイズ的視点を取り入れ,タスク固有の後方分布を継続的に学習することによって,cl問題に取り組むための原理的な方法を検討した。
- 参考スコア(独自算出の注目度): 4.319932092720977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning (CL) algorithms have recently received a lot of attention
as they attempt to overcome the need to train with an i.i.d. sample from some
unknown target data distribution. Building on prior work, we study principled
ways to tackle the CL problem by adopting a Bayesian perspective and focus on
continually learning a task-specific posterior distribution via a shared
meta-model, a task-conditioned hypernetwork. This approach, which we term
Posterior-replay CL, is in sharp contrast to most Bayesian CL approaches that
focus on the recursive update of a single posterior distribution. The benefits
of our approach are (1) an increased flexibility to model solutions in weight
space and therewith less susceptibility to task dissimilarity, (2) access to
principled task-specific predictive uncertainty estimates, that can be used to
infer task identity during test time and to detect task boundaries during
training, and (3) the ability to revisit and update task-specific posteriors in
a principled manner without requiring access to past data. The proposed
framework is versatile, which we demonstrate using simple posterior
approximations (such as Gaussians) as well as powerful, implicit distributions
modelled via a neural network. We illustrate the conceptual advance of our
framework on low-dimensional problems and show performance gains on computer
vision benchmarks.
- Abstract(参考訳): 連続学習(CL)アルゴリズムは最近、i.i.dでトレーニングする必要性を克服しようとするため、多くの注目を集めている。
未知のターゲットデータ分布からのサンプル。
事前の作業に基づいて、ベイズの観点からCL問題に取り組む原則的な方法を検討し、タスクコンディショニングハイパーネットワークである共有メタモデルを通じてタスク固有の後方分布を継続的に学習することに焦点を当てます。
我々がPosterior-replay CLと呼ぶこのアプローチは、単一の後方分布の再帰的な更新に焦点を当てたほとんどのベイジアンCLアプローチとは対照的です。
提案手法の利点は,(1)重み空間における解をモデル化し,タスクの相違に対する感受性が低いこと,(2)タスク固有の予測不確実性推定へのアクセス,(2)テスト時間中にタスクの同一性を推定し,トレーニング中にタスク境界を検出すること,(3)過去のデータにアクセスする必要なしにタスク固有の後続を原則的に再検討・更新する能力,である。
提案手法は汎用性であり,ニューラルネットワークによってモデル化された強力な暗黙的分布と同様に,簡単な後続近似(ガウス型など)を用いて実演する。
低次元問題に対する我々のフレームワークの概念的な進歩を説明し、コンピュータビジョンベンチマークの性能向上を示す。
関連論文リスト
- Read Between the Layers: Leveraging Intra-Layer Representations for
Rehearsal-Free Continual Learning with Pre-Trained Models [17.31203979844975]
継続学習のための新しいクラスプロトタイプベースのアプローチであるLayUPを提案する。
提案手法は概念的には単純で,リプレイバッファを必要としない。
論文 参考訳(メタデータ) (2023-12-13T13:11:44Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Algorithm Design for Online Meta-Learning with Task Boundary Detection [57.07616532337541]
非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。
まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。
軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
論文 参考訳(メタデータ) (2023-02-02T04:02:49Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - Provable Benefits of Representational Transfer in Reinforcement Learning [59.712501044999875]
本稿では,RLにおける表現伝達の問題について検討し,エージェントがまず複数のソースタスクを事前訓練し,共有表現を発見する。
本稿では,ソースタスクに対する生成的アクセスが与えられた場合,次に続く線形RL手法がほぼ最適ポリシーに迅速に収束する表現を発見できることを示す。
論文 参考訳(メタデータ) (2022-05-29T04:31:29Z) - Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。
クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-14T23:46:17Z) - Distribution Alignment: A Unified Framework for Long-tail Visual
Recognition [52.36728157779307]
長尾視覚認識のための分散アライメント戦略を提案する。
次に,二段階学習における一般化された再重み付け法を導入して,事前のクラスバランスをとる。
提案手法は, 4つの認識タスクすべてにおいて, 単純で統一されたフレームワークを用いて最先端の結果を得る。
論文 参考訳(メタデータ) (2021-03-30T14:09:53Z) - Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。
この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。
簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
論文 参考訳(メタデータ) (2020-07-01T19:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。