論文の概要: Expandable and Differentiable Dual Memories with Orthogonal Regularization for Exemplar-free Continual Learning

• arxiv url: http://arxiv.org/abs/2511.09871v1
• Date: Fri, 14 Nov 2025 01:14:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.539787
• Title: Expandable and Differentiable Dual Memories with Orthogonal Regularization for Exemplar-free Continual Learning
• Title（参考訳）: 連続学習における直交正規化による拡張可能・微分可能なデュアルメモリ
• Authors: Hyung-Jun Moon, Sung-Bae Cho,
• Abstract要約: 連続的な学習方法は、ニューラルネットワークにシーケンシャルなタスクを個別に処理させ、タスク間の有用な関係を活用できないようにする。 本稿では,2つの相補的記憶からなる,完全微分可能で模範のない拡張可能手法を提案する。 CIFAR-10, CIFAR-100, Tiny-ImageNetにおける実験により, 提案手法は, クラスインクリメンタル学習における14の最先端手法より優れていることを示した。
• 参考スコア（独自算出の注目度）: 9.626869344059456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning methods used to force neural networks to process sequential tasks in isolation, preventing them from leveraging useful inter-task relationships and causing them to repeatedly relearn similar features or overly differentiate them. To address this problem, we propose a fully differentiable, exemplar-free expandable method composed of two complementary memories: One learns common features that can be used across all tasks, and the other combines the shared features to learn discriminative characteristics unique to each sample. Both memories are differentiable so that the network can autonomously learn latent representations for each sample. For each task, the memory adjustment module adaptively prunes critical slots and minimally expands capacity to accommodate new concepts, and orthogonal regularization enforces geometric separation between preserved and newly learned memory components to prevent interference. Experiments on CIFAR-10, CIFAR-100, and Tiny-ImageNet show that the proposed method outperforms 14 state-of-the-art methods for class-incremental learning, achieving final accuracies of 55.13\%, 37.24\%, and 30.11\%, respectively. Additional analysis confirms that, through effective integration and utilization of knowledge, the proposed method can increase average performance across sequential tasks, and it produces feature extraction results closest to the upper bound, thus establishing a new milestone in continual learning.
• Abstract（参考訳）: ニューラルネットワークは、個別にシーケンシャルなタスクを処理させ、タスク間関係の有用な利用を防ぎ、類似した機能を繰り返し再学習させたり、過度に区別したりする。 この問題に対処するために,2つの相補的記憶からなる完全微分可能・非定型展開可能な手法を提案する。 どちらの記憶も識別可能であるので、ネットワークは各サンプルの潜在表現を自律的に学習することができる。 各タスクに対して、メモリ調整モジュールはクリティカルスロットを適応的に実行し、新しい概念に対応するために最小限の容量を拡張し、直交正規化は、干渉を防ぐために保存されたメモリコンポーネントと新しく学習されたメモリコンポーネントの幾何学的分離を強制する。 CIFAR-10, CIFAR-100, Tiny-ImageNet実験の結果, 提案手法は, クラスインクリメンタル学習において, 55.13\%, 37.24\%, 30.11\%の最終精度をそれぞれ達成し, 最先端の14の手法より優れていた。 さらに,知識の効果的な統合と活用により,提案手法は逐次的タスク間の平均性能を向上し,上界に最も近い特徴抽出結果が得られ,連続学習における新たなマイルストーンが確立されることを確認した。

関連論文リスト

• Divergent Ensemble Networks: Enhancing Uncertainty Estimation with Shared Representations and Independent Branching [0.9963916732353794]
  Divergent Ensemble Network (DEN)は、共有表現学習と独立分岐を組み合わせた新しいアーキテクチャである。 DENは共有入力層を使用して、すべてのブランチに共通する特徴をキャプチャし、続いて、アンサンブルを形成する独立したトレーニング可能な層を分離する。 この共有分岐構造は、アンサンブルの多様性を維持しながらパラメータの冗長性を低減し、効率的でスケーラブルな学習を可能にする。
  論文  参考訳（メタデータ） (2024-12-02T06:52:45Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
  我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。 提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2022-11-27T23:17:08Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Generative Kernel Continual learning [117.79080100313722]
  本稿では、生成モデルとカーネル間の相乗効果を利用して連続学習を行う、生成カーネル連続学習を紹介する。 生成モデルは、カーネル学習のための代表サンプルを生成することができ、カーネル連続学習におけるメモリ依存を取り除くことができる。 コントリビューションの能力とメリットを示すために,広く利用されている3つの連続学習ベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-12-26T16:02:10Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。