論文の概要: Incremental Class Learning using Variational Autoencoders with
Similarity Learning
- arxiv url: http://arxiv.org/abs/2110.01303v1
- Date: Mon, 4 Oct 2021 10:19:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 15:47:20.619116
- Title: Incremental Class Learning using Variational Autoencoders with
Similarity Learning
- Title（参考訳）: 類似学習を用いた変分オートエンコーダを用いたインクリメンタルクラス学習
- Authors: Jiahao Huo, Terence L. van Zyl
- Abstract要約: 漸進的な学習におけるニューラルネットワークの破滅的な忘れは、依然として難しい問題である。
本研究は,段階的な授業学習における4つのよく知られた計量に基づく損失関数の破滅的忘れについて検討する。
角損失はほとんど影響を受けず, 対照的に3重項損失, 中心損失は良好な鉱業技術であった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Catastrophic forgetting in neural networks during incremental learning
remains a challenging problem. Previous research investigated catastrophic
forgetting in fully connected networks, with some earlier work exploring
activation functions and learning algorithms. Applications of neural networks
have been extended to include similarity and metric learning. It is of
significant interest to understand how metric learning loss functions would be
affected by catastrophic forgetting. Our research investigates catastrophic
forgetting for four well-known metric-based loss functions during incremental
class learning. The loss functions are angular, contrastive, centre, and
triplet loss. Our results show that the rate of catastrophic forgetting is
different across loss functions on multiple datasets. The angular loss was
least affected, followed by contrastive, triplet loss, and centre loss with
good mining techniques. We implemented three existing incremental learning
techniques, iCARL, EWC, and EBLL. We further proposed our novel technique using
VAEs to generate representation as exemplars that are passed through
intermediate layers of the network. Our method outperformed the three existing
techniques. We have shown that we do not require stored images as exemplars for
incremental learning with similarity learning. The generated representations
can help preserve regions of the embedding space used by prior knowledge so
that new knowledge will not "overwrite" prior knowledge.
- Abstract（参考訳）: インクリメンタル学習中のニューラルネットワークの破滅的な忘れ方はまだ難しい問題である。
以前の研究では、完全に接続されたネットワークにおける破滅的な忘れを調査し、アクティベーション機能や学習アルゴリズムを探求していた。
ニューラルネットワークの応用は、類似性とメトリック学習を含むように拡張されている。
計量学習損失関数が破滅的忘れによってどのように影響を受けるかを理解することは重要な関心事である。
本研究は,段階的な授業学習における4つの有名な計量に基づく損失関数の破滅的忘れについて検討する。
損失関数は、角、コントラスト、中心、三重項損失である。
その結果,複数データセットの損失関数間で壊滅的忘れる確率が異なることがわかった。
角損失はほとんど影響を受けず, 対照的に3重項損失, 中心損失は良好な鉱業技術であった。
既存のインクリメンタル学習技術であるiCARL, EWC, EBLLを実装した。
さらに,ネットワークの中間層を通過した表現を生成するために,VAEを用いた新しい手法を提案する。
本手法は既存の3つの手法を上回った。
類似性学習を伴う漸進学習において,記憶されたイメージを模範として必要としないことを示す。
生成された表現は、事前知識が使用する埋め込み空間の領域を保存するのに役立つため、新しい知識が事前知識を"上書き"しない。
関連論文リスト
- Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。
我々はその2次情報を経験的フィッシャー行列を通して活用する。
ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
論文 参考訳（メタデータ） (2024-10-24T18:02:11Z) - A Methodology-Oriented Study of Catastrophic Forgetting in Incremental Deep Neural Networks [4.844142799909677]
生涯を通して学習する能力は、神経認知機構を用いた連続学習と呼ばれる。
人工知能の主な課題は、新しいデータが直面するときの自律エージェントの漸進的な学習である。
本稿では,(1)模範的手法,(2)記憶的手法,(3)ネットワーク的手法の3種類の漸進的学習手法を比較した。
論文 参考訳（メタデータ） (2024-05-11T05:10:07Z) - Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。
CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
論文 参考訳（メタデータ） (2023-06-01T12:53:10Z) - SuSana Distancia is all you need: Enforcing class separability in metric
learning via two novel distance-based loss functions for few-shot image
classification [0.9236074230806579]
本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。
以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
論文 参考訳（メタデータ） (2023-05-15T23:12:09Z) - Online Loss Function Learning [13.744076477599707]
ロス関数学習は、機械学習モデルの損失関数を設計するタスクを自動化することを目的としている。
基本モデルパラメータへの更新毎に,損失関数をオンラインに適応的に更新する新しい損失関数学習手法を提案する。
論文 参考訳（メタデータ） (2023-01-30T19:22:46Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。
近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。
これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文 参考訳（メタデータ） (2022-02-14T15:18:00Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - A Comparison of Metric Learning Loss Functions for End-To-End Speaker
Verification [4.617249742207066]
本稿では,VoxCelebデータセット上で,いくつかのメトリクス学習損失関数を体系的に比較する。
加法的な角縁損失関数は,他のすべての損失関数より優れていることを示す。
本稿では,SincNet のトレーニング可能な機能と x-vector アーキテクチャを組み合わせることで,エンドツーエンドの話者検証システムに一歩近づいた。
論文 参考訳（メタデータ） (2020-03-31T08:36:07Z) - Adversarial Incremental Learning [0.0]
ディープラーニングは、以前のデータが利用できない新しいタスクを学ぶ際に、これまで学んだ情報を忘れることができる。
本稿では,新しいタスクのトレーニング中に,古いデータを全く利用しない逆判別器に基づく手法を提案する。
我々は、CIFAR-100、SVHN、MNISTデータセット上で、他の最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2020-01-30T02:25:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。