論文の概要: Subspace Distillation for Continual Learning
- arxiv url: http://arxiv.org/abs/2307.16419v2
- Date: Tue, 1 Aug 2023 06:45:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 11:25:07.328195
- Title: Subspace Distillation for Continual Learning
- Title(参考訳): 連続学習のためのサブスペース蒸留
- Authors: Kaushik Roy, Christian Simon, Peyman Moghadam, Mehrtash Harandi
- Abstract要約: 本稿では,ニューラルネットワークの多様体構造を考慮した知識蒸留手法を提案する。
部分空間を用いたモデリングは、雑音に対するロバスト性など、いくつかの興味深い特性を提供することを示した。
実験により,提案手法は,いくつかの挑戦的データセットにおいて,様々な連続学習法よりも優れていることがわかった。
- 参考スコア(独自算出の注目度): 27.22147868163214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An ultimate objective in continual learning is to preserve knowledge learned
in preceding tasks while learning new tasks. To mitigate forgetting prior
knowledge, we propose a novel knowledge distillation technique that takes into
the account the manifold structure of the latent/output space of a neural
network in learning novel tasks. To achieve this, we propose to approximate the
data manifold up-to its first order, hence benefiting from linear subspaces to
model the structure and maintain the knowledge of a neural network while
learning novel concepts. We demonstrate that the modeling with subspaces
provides several intriguing properties, including robustness to noise and
therefore effective for mitigating Catastrophic Forgetting in continual
learning. We also discuss and show how our proposed method can be adopted to
address both classification and segmentation problems. Empirically, we observe
that our proposed method outperforms various continual learning methods on
several challenging datasets including Pascal VOC, and Tiny-Imagenet.
Furthermore, we show how the proposed method can be seamlessly combined with
existing learning approaches to improve their performances. The codes of this
article will be available at https://github.com/csiro-robotics/SDCL.
- Abstract(参考訳): 連続学習における究極の目的は、新しいタスクを学習しながら、前のタスクで学んだ知識を保存することである。
従来の知識を忘れないように,ニューラルネットワークの潜在出力空間の多様体構造を考慮した新しい知識蒸留手法を提案する。
そこで本研究では,データ多様体を1次まで近似し,線形部分空間の利点を生かして構造をモデル化し,新しい概念を学習しながらニューラルネットワークの知識を維持することを提案する。
部分空間を用いたモデリングは、雑音に対する堅牢性など、いくつかの興味深い特性を提供しており、連続学習における破滅的学習の軽減に有効であることを示す。
また,分類問題と分割問題の両方に対処するために,提案手法をどのように適用できるかを論じる。
提案手法は,Pascal VOCやTiny-Imagenetなど,いくつかの課題のあるデータセットにおいて,様々な連続的な学習方法よりも優れていることを示す。
さらに,提案手法と既存の学習手法をシームレスに組み合わせ,その性能を向上させる方法を示す。
この記事のコードはhttps://github.com/csiro-robotics/sdclで入手できる。
関連論文リスト
- Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳(メタデータ) (2023-11-30T22:43:50Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳(メタデータ) (2023-06-18T05:26:49Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳(メタデータ) (2023-06-16T08:13:41Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳(メタデータ) (2023-02-02T04:03:38Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental
Learning [32.52270964066876]
少数のショットクラスインクリメンタルラーニング(FSCIL)は、新しい概念を徐々に学習する問題を示しています。
FSCILの問題に対処するための蒸留アルゴリズムを導入し、トレーニング中に意味情報の活用を提案する。
論文 参考訳(メタデータ) (2021-03-06T08:07:26Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - A Neural Dirichlet Process Mixture Model for Task-Free Continual
Learning [48.87397222244402]
タスクフリー連続学習のための拡張型アプローチを提案する。
我々のモデルは、識別的タスクと生成的タスクの両方に対してタスクフリー連続学習を成功させる。
論文 参考訳(メタデータ) (2020-01-03T02:07:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。