論文の概要: Class Incremental Continual Learning with Self-Organizing Maps and Variational Autoencoders Using Synthetic Replay

• arxiv url: http://arxiv.org/abs/2508.21240v1
• Date: Thu, 28 Aug 2025 22:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.887
• Title: Class Incremental Continual Learning with Self-Organizing Maps and Variational Autoencoders Using Synthetic Replay
• Title（参考訳）: 自己組織型マップと変分オートエンコーダを用いたクラスインクリメンタル連続学習
• Authors: Pujan Thapa, Alexander Ororbia, Travis Desell,
• Abstract要約: 本研究は、自己組織化マップ(SOM)と変分オートエンコーダ(VAE)に基づく新しい生成連続学習フレームワークを導入する。 CIFAR-10 や CIFAR-100 のような高次元入力空間に対しては,VOE が学習した潜在空間上で SOM が動作する方式を設計する。 MNISTやFashionMNISTなどの低次元入力では、SOMはスタンドアロンで動作する。
• 参考スコア（独自算出の注目度）: 47.020758735910306
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This work introduces a novel generative continual learning framework based on self-organizing maps (SOMs) and variational autoencoders (VAEs) to enable memory-efficient replay, eliminating the need to store raw data samples or task labels. For high-dimensional input spaces, such as of CIFAR-10 and CIFAR-100, we design a scheme where the SOM operates over the latent space learned by a VAE, whereas, for lower-dimensional inputs, such as those found in MNIST and FashionMNIST, the SOM operates in a standalone fashion. Our method stores a running mean, variance, and covariance for each SOM unit, from which synthetic samples are then generated during future learning iterations. For the VAE-based method, generated samples are then fed through the decoder to then be used in subsequent replay. Experimental results on standard class-incremental benchmarks show that our approach performs competitively with state-of-the-art memory-based methods and outperforms memory-free methods, notably improving over best state-of-the-art single class incremental performance on CIFAR-10 and CIFAR-100 by nearly $10$\% and $7$\%, respectively. Our methodology further facilitates easy visualization of the learning process and can also be utilized as a generative model post-training. Results show our method's capability as a scalable, task-label-free, and memory-efficient solution for continual learning.
• Abstract（参考訳）: 本研究では,自己組織マップ(SOM)と可変オートエンコーダ(VAE)に基づく新たな生成連続学習フレームワークを導入し,メモリ効率を向上し,生データサンプルやタスクラベルを格納する必要をなくした。 CIFAR-10 や CIFAR-100 のような高次元入力空間では、SOM は VAE によって学習された潜在空間上で動作するが、MNIST や FashionMNIST のような低次元入力では、SOM はスタンドアロンで動作する。 提案手法は,各SOMユニットの動作平均,分散,共分散を記憶し,そこから将来の学習イテレーション中に合成サンプルを生成する。 VAEベースのメソッドでは、生成されたサンプルはデコーダを介して供給され、その後の再生に使用される。 CIFAR-10 と CIFAR-100 をそれぞれ 10$\% と 7$\% に改善した。 本手法は学習過程の可視化を容易にするとともに,学習後の生成モデルとして利用することもできる。 提案手法は,拡張性,タスクラベルなし,メモリ効率のよい連続学習ソリューションであることを示す。

関連論文リスト

• Unsupervised Incremental Learning Using Confidence-Based Pseudo-Labels [0.0]
  信頼に基づく擬似ラベル(ICPL)を用いた教師なしインクリメンタルラーニング手法を提案する。 ICPLは教師付き手法と比較して競争力があり、最終精度で最先端のクラス-iNCD法を5%以上上回っている。
  論文  参考訳（メタデータ） (2025-08-29T08:49:53Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels [35.78121449099899]
  我々は,10個のゴールドレバレンスラベルを持つ小規模(100Mパラメータ未満)のニューラル情報検索モデルを訓練する手法を開発した。 RankLLamaは100K以上のラベルでトレーニングされた7Bパラメータモデルである。
  論文  参考訳（メタデータ） (2024-06-17T16:25:55Z)
• Memory Population in Continual Learning via Outlier Elimination [25.511380924335207]
  破滅的な忘れは、新しいタスクを学ぶ際に学習したタスクを忘れる現象であり、継続的な学習アルゴリズムを開発する上で大きなハードルとなる。 忘れを緩和する一般的な方法は、新しいタスクのトレーニングで使用する前に学習したタスク例のサブセットを格納するメモリバッファを使用することである。 本稿では,ラベル同種サブポピュレーションからサンプルを選択することにより,メモリバッファ内の外れ値の識別と除去を行うメモリ・アウトレイラ除去法(MOE)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T00:09:33Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。