論文の概要: Centroids Matching: an efficient Continual Learning approach operating
in the embedding space
- arxiv url: http://arxiv.org/abs/2208.02048v1
- Date: Wed, 3 Aug 2022 13:17:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-04 13:08:14.026613
- Title: Centroids Matching: an efficient Continual Learning approach operating
in the embedding space
- Title（参考訳）: Centroids Matching: 埋め込み空間で動作する効率的な連続学習手法
- Authors: Jary Pomponi, Simone Scardapane, Aurelio Uncini
- Abstract要約: 破滅的な忘れ(CF)は、ニューラルネットワークが、異なる分布からサンプルのセットをトレーニングしながら、以前に学んだ情報を失うときに起こる。
本稿では,ニューラルネットワークが生成する特徴空間を演算することでCFと戦う,Centroids Matchingと呼ばれる新しい正規化手法を提案する。
- 参考スコア（独自算出の注目度）: 15.705568893476947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Catastrophic forgetting (CF) occurs when a neural network loses the
information previously learned while training on a set of samples from a
different distribution, i.e., a new task. Existing approaches have achieved
remarkable results in mitigating CF, especially in a scenario called task
incremental learning. However, this scenario is not realistic, and limited work
has been done to achieve good results on more realistic scenarios. In this
paper, we propose a novel regularization method called Centroids Matching,
that, inspired by meta-learning approaches, fights CF by operating in the
feature space produced by the neural network, achieving good results while
requiring a small memory footprint. Specifically, the approach classifies the
samples directly using the feature vectors produced by the neural network, by
matching those vectors with the centroids representing the classes from the
current task, or all the tasks up to that point. Centroids Matching is faster
than competing baselines, and it can be exploited to efficiently mitigate CF,
by preserving the distances between the embedding space produced by the model
when past tasks were over, and the one currently produced, leading to a method
that achieves high accuracy on all the tasks, without using an external memory
when operating on easy scenarios, or using a small one for more realistic ones.
Extensive experiments demonstrate that Centroids Matching achieves accuracy
gains on multiple datasets and scenarios.
- Abstract（参考訳）: 破滅的な忘れ(CF)は、ニューラルネットワークが異なる分布、すなわち新しいタスクからのサンプルセットのトレーニング中に以前に学んだ情報を失うときに起こる。
既存のアプローチはcfの緩和、特にタスクインクリメンタル学習と呼ばれるシナリオで顕著な成果を上げている。
しかし、このシナリオは現実的ではなく、より現実的なシナリオで良い結果を得るための限られた作業が行われている。
本稿では,メタラーニングアプローチに触発されて,ニューラルネットワークが生成する特徴空間で動作し,メモリフットプリントを小さくして良好な結果が得られるようにした,centroids matchingと呼ばれる新しい正規化手法を提案する。
具体的には、ニューラルネットワークによって生成された特徴ベクトルを使ってサンプルを分類し、それらのベクトルを現在のタスクからクラスを表すセントロイド、あるいはその時点までのすべてのタスクとマッチングする。
Centroids Matchingは競合するベースラインよりも高速で、過去のタスクが終わったときにモデルによって生成された埋め込みスペースと現在のタスクの間の距離を保存することで、CFを効率的に緩和することができる。
広範な実験により、centroids matchingが複数のデータセットとシナリオで精度向上を実現することが示されている。
関連論文リスト
- Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳（メタデータ） (2023-10-04T09:39:05Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - TADIL: Task-Agnostic Domain-Incremental Learning through Task-ID
Inference using Transformer Nearest-Centroid Embeddings [0.0]
ドメイン・インクリメンタル・ラーニングのシナリオにおいて,教師なしのタスクを識別するための新しいパイプラインを提案する。
我々は、パイプラインの軽量な計算要求を活用して、新しいタスクをいつ学習するかをオンラインで決定するアルゴリズムを考案する。
論文 参考訳（メタデータ） (2023-06-21T00:55:02Z) - Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。
本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。
提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
論文 参考訳（メタデータ） (2023-04-04T17:59:04Z) - Optimal transfer protocol by incremental layer defrosting [66.76153955485584]
トランスファーラーニングは、限られた量のデータでモデルトレーニングを可能にする強力なツールである。
最も単純な転送学習プロトコルは、データリッチなソースタスクで事前訓練されたネットワークの機能抽出層を凍結する。
このプロトコルは、しばしば準最適であり、事前学習されたネットワークの小さな部分を凍結したままにしておくと、最大の性能向上が達成される可能性がある。
論文 参考訳（メタデータ） (2023-03-02T17:32:11Z) - Compare Where It Matters: Using Layer-Wise Regularization To Improve
Federated Learning on Heterogeneous Data [0.0]
フェデレートラーニング(Federated Learning)は、分散データ上でニューラルネットワークをトレーニングする方法として広く採用されている。
主な制限は、データが均一に分散されたときに発生するパフォーマンス劣化である。
本稿では,様々なディープラーニングタスクにおいて,従来の最先端手法よりも優れたパフォーマンスを実現するフレームワークであるFedCKAを紹介する。
論文 参考訳（メタデータ） (2021-12-01T10:46:13Z) - Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。
これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。
我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
論文 参考訳（メタデータ） (2021-11-11T15:15:11Z) - Hyperdimensional Computing for Efficient Distributed Classification with
Randomized Neural Networks [5.942847925681103]
本研究では,データを中央に保存することも共有することもできない状況下で利用できる分散分類について検討する。
ローカルな分類器を他のエージェントと共有する場合に、ロッキーな圧縮アプローチを適用することにより、分散分類のためのより効率的な解を提案する。
論文 参考訳（メタデータ） (2021-06-02T01:33:56Z) - Conditional Meta-Learning of Linear Representations [57.90025697492041]
表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。
本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。
この利点を実用的に活用できるメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-30T12:02:14Z) - Few-shot Weakly-Supervised Object Detection via Directional Statistics [55.97230224399744]
少数ショットコモンオブジェクトローカライゼーション(COL)と少数ショット弱監視オブジェクト検出(WSOD)のための確率論的多重インスタンス学習手法を提案する。
本モデルでは,新しいオブジェクトの分布を同時に学習し,期待-最大化ステップにより局所化する。
提案手法は, 単純であるにもかかわらず, 少数のCOLとWSOD, 大規模WSODタスクにおいて, 高いベースラインを達成できることを示す。
論文 参考訳（メタデータ） (2021-03-25T22:34:16Z) - SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。
SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。
実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
論文 参考訳（メタデータ） (2020-07-15T11:21:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。