論文の概要: Overcoming Catastrophic Forgetting with Gaussian Mixture Replay

• arxiv url: http://arxiv.org/abs/2104.09220v1
• Date: Mon, 19 Apr 2021 11:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 13:41:38.141048
• Title: Overcoming Catastrophic Forgetting with Gaussian Mixture Replay
• Title（参考訳）: ガウス混合リプレイによる破滅的フォーミングの克服
• Authors: Benedikt Pf\"ulb, Alexander Gepperth
• Abstract要約: ガウス混合モデル(GMM)に基づく連続学習(CL)のためのリハーサルベースアプローチを提案する。 過去のタスクからサンプルを生成し,現在のトレーニングデータと統合することで,破滅的忘れ(cf)を緩和する。 複数の画像データセットでGMRを評価し,クラス別サブタスクに分割する。
• 参考スコア（独自算出の注目度）: 79.0660895390689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Gaussian Mixture Replay (GMR), a rehearsal-based approach for continual learning (CL) based on Gaussian Mixture Models (GMM). CL approaches are intended to tackle the problem of catastrophic forgetting (CF), which occurs for Deep Neural Networks (DNNs) when sequentially training them on successive sub-tasks. GMR mitigates CF by generating samples from previous tasks and merging them with current training data. GMMs serve several purposes here: sample generation, density estimation (e.g., for detecting outliers or recognizing task boundaries) and providing a high-level feature representation for classification. GMR has several conceptual advantages over existing replay-based CL approaches. First of all, GMR achieves sample generation, classification and density estimation in a single network structure with strongly reduced memory requirements. Secondly, it can be trained at constant time complexity w.r.t. the number of sub-tasks, making it particularly suitable for life-long learning. Furthermore, GMR minimizes a differentiable loss function and seems to avoid mode collapse. In addition, task boundaries can be detected by applying GMM density estimation. Lastly, GMR does not require access to sub-tasks lying in the future for hyper-parameter tuning, allowing CL under real-world constraints. We evaluate GMR on multiple image datasets, which are divided into class-disjoint sub-tasks.
• Abstract（参考訳）: 本稿では,ガウス混合モデル(GMM)に基づく連続学習(CL)のためのリハーサルベースアプローチであるガウス混合再生(GMR)を提案する。 CLアプローチは、連続したサブタスクでそれらを逐次訓練する際、ディープニューラルネットワーク(DNN)で発生する破滅的な忘れ(CF)問題に対処することを目的としている。 gmrは以前のタスクからサンプルを生成し、現在のトレーニングデータとマージすることでcfを緩和する。 GMMは、サンプル生成、密度推定(例えば、外れ値の検出やタスク境界の認識)、そして分類のための高レベルの特徴表現を提供する。 GMRは既存のリプレイベースのCLアプローチに対していくつかの概念上の利点がある。 まず、GMRは、メモリ要求を強く低減した単一ネットワーク構造におけるサンプル生成、分類、密度推定を実現する。 第二に、一定時間の複雑さw.r.tで訓練することができる。 サブタスクの数が多く、生涯学習に特に適しています。 さらにgmrは微分可能損失関数を最小化し、モードの崩壊を回避しているように見える。 さらに、gmm密度推定を適用してタスク境界を検出することもできる。 最後に、GMRは、ハイパーパラメータチューニングのために将来横たわるサブタスクへのアクセスを必要とせず、CLを現実世界の制約下に置くことができる。 我々は,複数の画像データセット上でGMRを評価し,クラス分離サブタスクに分割する。

関連論文リスト

• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Uncertainty Quantification using Generative Approach [4.4858968464373845]
  本稿では,深いニューラルネットワークにおける不確実性を測定するためのインクリメンタル生成モンテカルロ法を提案する。 IGMCは生成モデルを反復的に訓練し、その出力をデータセットに追加し、ランダム変数の期待の後方分布を計算する。 MNIST桁分類タスクにおけるIGMCの挙動を実証的に研究する。
  論文  参考訳（メタデータ） (2023-10-13T18:05:25Z)
• DOCTOR: A Multi-Disease Detection Continual Learning Framework Based on Wearable Medical Sensors [3.088223994180069]
  ウェアラブル医療センサ(WMS)に基づく多相検出連続学習フレームワークであるDOCTORを提案する。 マルチヘッドディープニューラルネットワーク(DNN)とリプレイスタイルのCLアルゴリズムを採用している。 平均テスト精度は1.43倍、F1スコアは1.25倍、後方転送は0.41倍である。
  論文  参考訳（メタデータ） (2023-05-09T19:33:17Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Reconstruction of Sentinel-2 Time Series Using Robust Gaussian Mixture Models -- Application to the Detection of Anomalous Crop Development in wheat and rapeseed crops [14.849671539394272]
  データの欠落は、主にマルチスペクトル画像のクラウドカバレッジと取得の問題によって、リモートセンシングにおいて繰り返し発生する問題である。 マルチスペクトル画像から抽出したパーセルレベルの特徴を再構成するためのガウス混合モデル(GMM)を提案する。 また、Sentinel-1データを用いた合成開口レーダ(SAR)画像から抽出した付加的特徴を用いて補完情報を提供する。
  論文  参考訳（メタデータ） (2021-10-22T13:35:54Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。