論文の概要: Subspace Distillation for Continual Learning
- arxiv url: http://arxiv.org/abs/2307.16419v2
- Date: Tue, 1 Aug 2023 06:45:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 11:25:07.328195
- Title: Subspace Distillation for Continual Learning
- Title（参考訳）: 連続学習のためのサブスペース蒸留
- Authors: Kaushik Roy, Christian Simon, Peyman Moghadam, Mehrtash Harandi
- Abstract要約: 本稿では,ニューラルネットワークの多様体構造を考慮した知識蒸留手法を提案する。
部分空間を用いたモデリングは、雑音に対するロバスト性など、いくつかの興味深い特性を提供することを示した。
実験により,提案手法は,いくつかの挑戦的データセットにおいて,様々な連続学習法よりも優れていることがわかった。
- 参考スコア（独自算出の注目度）: 27.22147868163214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An ultimate objective in continual learning is to preserve knowledge learned
in preceding tasks while learning new tasks. To mitigate forgetting prior
knowledge, we propose a novel knowledge distillation technique that takes into
the account the manifold structure of the latent/output space of a neural
network in learning novel tasks. To achieve this, we propose to approximate the
data manifold up-to its first order, hence benefiting from linear subspaces to
model the structure and maintain the knowledge of a neural network while
learning novel concepts. We demonstrate that the modeling with subspaces
provides several intriguing properties, including robustness to noise and
therefore effective for mitigating Catastrophic Forgetting in continual
learning. We also discuss and show how our proposed method can be adopted to
address both classification and segmentation problems. Empirically, we observe
that our proposed method outperforms various continual learning methods on
several challenging datasets including Pascal VOC, and Tiny-Imagenet.
Furthermore, we show how the proposed method can be seamlessly combined with
existing learning approaches to improve their performances. The codes of this
article will be available at https://github.com/csiro-robotics/SDCL.
- Abstract（参考訳）: 連続学習における究極の目的は、新しいタスクを学習しながら、前のタスクで学んだ知識を保存することである。
従来の知識を忘れないように,ニューラルネットワークの潜在出力空間の多様体構造を考慮した新しい知識蒸留手法を提案する。
そこで本研究では,データ多様体を1次まで近似し,線形部分空間の利点を生かして構造をモデル化し,新しい概念を学習しながらニューラルネットワークの知識を維持することを提案する。
部分空間を用いたモデリングは、雑音に対する堅牢性など、いくつかの興味深い特性を提供しており、連続学習における破滅的学習の軽減に有効であることを示す。
また,分類問題と分割問題の両方に対処するために,提案手法をどのように適用できるかを論じる。
提案手法は,Pascal VOCやTiny-Imagenetなど,いくつかの課題のあるデータセットにおいて,様々な連続的な学習方法よりも優れていることを示す。
さらに,提案手法と既存の学習手法をシームレスに組み合わせ,その性能を向上させる方法を示す。
この記事のコードはhttps://github.com/csiro-robotics/sdclで入手できる。
関連論文リスト
- Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。
画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。
テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
論文 参考訳（メタデータ） (2024-08-02T07:51:44Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Function-space Parameterization of Neural Networks for Sequential Learning [22.095632118886225]
逐次学習パラダイムは、新しいデータの導入と事前知識の維持が困難であるため、勾配に基づくディープラーニングに課題を提起する。
本稿では,ニューラルネットワークを重み空間から関数空間に変換する手法を提案する。
実験により,継続学習における知識を保ち,新しいデータを効率的に活用できることが実証された。
論文 参考訳（メタデータ） (2024-03-16T14:00:04Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-30T22:43:50Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳（メタデータ） (2022-11-14T19:53:15Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental
Learning [32.52270964066876]
少数のショットクラスインクリメンタルラーニング(FSCIL)は、新しい概念を徐々に学習する問題を示しています。
FSCILの問題に対処するための蒸留アルゴリズムを導入し、トレーニング中に意味情報の活用を提案する。
論文 参考訳（メタデータ） (2021-03-06T08:07:26Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。