論文の概要: Continual Learning with Fully Probabilistic Models

• arxiv url: http://arxiv.org/abs/2104.09240v1
• Date: Mon, 19 Apr 2021 12:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:29:58.698422
• Title: Continual Learning with Fully Probabilistic Models
• Title（参考訳）: 完全確率モデルによる連続学習
• Authors: Benedikt Pf\"ulb, Alexander Gepperth, Benedikt Bagus
• Abstract要約: 機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 70.3497683558609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an approach for continual learning (CL) that is based on fully probabilistic (or generative) models of machine learning. In contrast to, e.g., GANs that are "generative" in the sense that they can generate samples, fully probabilistic models aim at modeling the data distribution directly. Consequently, they provide functionalities that are highly relevant for continual learning, such as density estimation (outlier detection) and sample generation. As a concrete realization of generative continual learning, we propose Gaussian Mixture Replay (GMR). GMR is a pseudo-rehearsal approach using a Gaussian Mixture Model (GMM) instance for both generator and classifier functionalities. Relying on the MNIST, FashionMNIST and Devanagari benchmarks, we first demonstrate unsupervised task boundary detection by GMM density estimation, which we also use to reject untypical generated samples. In addition, we show that GMR is capable of class-conditional sampling in the way of a cGAN. Lastly, we verify that GMR, despite its simple structure, achieves state-of-the-art performance on common class-incremental learning problems at very competitive time and memory complexity.
• Abstract（参考訳）: 本稿では,機械学習の確率論的(あるいは生成的)モデルに基づく連続学習(CL)のアプローチを提案する。 サンプルを生成できるという意味で"生成的"なganとは対照的に、完全な確率モデルでは、データ分布を直接モデル化することを目指している。 その結果、密度推定 (outlier detection) やサンプル生成など、連続的な学習に非常に関係のある機能を提供している。 生成連続学習の具体的実現として,ガウス混合再生(GMR)を提案する。 GMRはガウス混合モデル(GMM)インスタンスをジェネレータと分類器の両方の機能に用いた擬似リハーサル手法である。 MNIST, FashionMNIST, Devanagari のベンチマークを参考に, GMM 密度推定による教師なしタスク境界検出の実証を行った。 また,GMRはcGANの方法でクラス条件サンプリングを行うことができることを示した。 最後に,gmrは単純な構造であるにもかかわらず,高い競合時間とメモリの複雑さで,一般的なクラスインクリメンタル学習問題に対して最先端のパフォーマンスを実現することを検証した。

関連論文リスト

• A Good Score Does not Lead to A Good Generative Model [14.752242187781107]
  スコアベース生成モデル(SGM)は、生成モデリングにおける主要な手法の一つである。 基礎となるスコア関数が十分に学習された場合,SGMは基底構造に近い分布からサンプルを生成することができることを示す。
  論文  参考訳（メタデータ） (2024-01-10T00:17:36Z)
• Accurate generation of stochastic dynamics based on multi-model Generative Adversarial Networks [0.0]
  GAN(Generative Adversarial Networks)は、テキストや画像生成などの分野において大きな可能性を秘めている。 ここでは、格子上の原型過程に適用することにより、このアプローチを定量的に検証する。 重要なことに、ノイズにもかかわらずモデルの離散性は維持される。
  論文  参考訳（メタデータ） (2023-05-25T10:41:02Z)
• Non-Exhaustive Learning Using Gaussian Mixture Generative Adversarial Networks [3.040775019394542]
  我々は、新しいオンライン非排他的学習モデル、すなわち、非排他的ガウス混合生成適応ネットワーク(NE-GM-GAN)を提案する。 提案モデルでは,GANなどの深層生成モデル上での潜在表現を合成し,テストデータ中の新しいクラスのインスタンスをインクリメンタルに検出する。
  論文  参考訳（メタデータ） (2021-06-28T00:20:22Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Overcoming Catastrophic Forgetting with Gaussian Mixture Replay [79.0660895390689]
  ガウス混合モデル(GMM)に基づく連続学習(CL)のためのリハーサルベースアプローチを提案する。 過去のタスクからサンプルを生成し,現在のトレーニングデータと統合することで,破滅的忘れ(cf)を緩和する。 複数の画像データセットでGMRを評価し,クラス別サブタスクに分割する。
  論文  参考訳（メタデータ） (2021-04-19T11:41:34Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。