論文の概要: Autoencoder-Based Hybrid Replay for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2505.05926v1
• Date: Fri, 09 May 2025 09:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.226616
• Title: Autoencoder-Based Hybrid Replay for Class-Incremental Learning
• Title（参考訳）: クラス増分学習のためのオートエンコーダによるハイブリッドリプレイ
• Authors: Milad Khademi Nori, Il-Min Kim, Guanghui Wang,
• Abstract要約: クラスインクリメンタルラーニング(CIL)では、タスクの混乱と忘れを緩和するために効果的なインクリメンタルラーニング戦略が不可欠である。 本稿では,新しいハイブリット・オートエンコーダ(HAE)を活用して圧縮機として機能する,オートエンコーダベースのハイブリッド・リプレイ(AHR)戦略を提案する。
• 参考スコア（独自算出の注目度）: 10.061328213032088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In class-incremental learning (CIL), effective incremental learning strategies are essential to mitigate task confusion and catastrophic forgetting, especially as the number of tasks $t$ increases. Current exemplar replay strategies impose $\mathcal{O}(t)$ memory/compute complexities. We propose an autoencoder-based hybrid replay (AHR) strategy that leverages our new hybrid autoencoder (HAE) to function as a compressor to alleviate the requirement for large memory, achieving $\mathcal{O}(0.1 t)$ at the worst case with the computing complexity of $\mathcal{O}(t)$ while accomplishing state-of-the-art performance. The decoder later recovers the exemplar data stored in the latent space, rather than in raw format. Additionally, HAE is designed for both discriminative and generative modeling, enabling classification and replay capabilities, respectively. HAE adopts the charged particle system energy minimization equations and repulsive force algorithm for the incremental embedding and distribution of new class centroids in its latent space. Our results demonstrate that AHR consistently outperforms recent baselines across multiple benchmarks while operating with the same memory/compute budgets. The source code is included in the supplementary material and will be open-sourced upon publication.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)では、特に$t$のタスク数が増加するにつれて、タスクの混乱と破滅的な忘れを緩和するために効果的なインクリメンタルラーニング戦略が不可欠である。 現在のexemplar replay戦略では、$\mathcal{O}(t)$ memory/compute complexitiesが課されている。 本稿では,新しいハイブリット・オートエンコーダ(HAE)を活用して圧縮機として機能するオートエンコーダベースのハイブリッド・リプレイ(AHR)戦略を提案する。 デコーダは後に、生のフォーマットではなく、潜伏空間に格納された模範データを復元する。 さらに、HAEは識別モデリングと生成モデリングの両方のために設計されており、それぞれに分類と再生機能を実現している。 HAEは、荷電粒子系のエネルギー最小化方程式と反発力アルゴリズムを採用して、その潜在空間における新しいクラスセントロイドの漸進的な埋め込みと分配を行う。 我々の結果は、AHRが同じメモリ/計算予算で動作しながら、複数のベンチマークで最新のベースラインを一貫して上回っていることを示している。 ソースコードは補足資料に含まれており、公開時にオープンソース化される予定である。

関連論文リスト

• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• HyperZ$\cdot$Z$\cdot$W Operator Connects Slow-Fast Networks for Full Context Interaction [0.0]
  自己注意機構は、ドット製品ベースのアクティベーションを通じてプログラムされた大きな暗黙の重み行列を利用して、訓練可能なパラメータがほとんどないため、長いシーケンスモデリングを可能にする。 本稿では,ネットワークの各層におけるコンテキストの完全な相互作用を実現するために,大きな暗黙のカーネルを用いて残差学習を破棄する可能性について検討する。 このモデルにはいくつかの革新的なコンポーネントが組み込まれており、遅いネットワークを更新するための局所的なフィードバックエラー、安定なゼロ平均機能、より高速なトレーニング収束、より少ないモデルパラメータなど、優れた特性を示している。
  論文  参考訳（メタデータ） (2024-01-31T15:57:21Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• LoMA: Lossless Compressed Memory Attention [0.0]
  Lossless Compressed Memory Attention (LoMA) は、自己回帰生成時のメモリと計算要求を減らす新しいアプローチである。 LoMAには、圧縮コンテキストに最適化された自己回帰生成アルゴリズムとともに、特別なトレーニングや微調整の事前処理が組み込まれている。 実験的検証により、LoMAは計算消費とメモリ使用量を大幅に削減した。
  論文  参考訳（メタデータ） (2024-01-16T09:18:46Z)
• A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning with General Function Approximation [66.26739783789387]
  我々は、強化学習のための新しいアルゴリズム、MQL-UCBを用いたモノトニックQ-Learningを提案する。 MQL-UCBは、$tildeO(dsqrtHK)$の最小限の後悔を実現する。 本研究は,非線形関数近似を用いたサンプル効率およびデプロイメント効率のよいQ-ラーニングの設計に重点を置いている。
  論文  参考訳（メタデータ） (2023-11-26T08:31:57Z)
• Incremental Learning of Structured Memory via Closed-Loop Transcription [20.255633973040183]
  本研究は、インクリメンタルな設定で複数のオブジェクトクラスの構造化記憶を学習するための最小限の計算モデルを提案する。 本手法は,従来のインクリメンタルラーニング手法よりもシンプルで,モデルサイズ,ストレージ,計算の面でより効率的である。 実験結果から,本手法は破滅的忘れを効果的に軽減し,生成的リプレイよりも高い性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-02-11T02:20:43Z)
• Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free Reinforcement Learning [52.76230802067506]
  漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。 提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。 初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
  論文  参考訳（メタデータ） (2021-10-09T21:13:48Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。