論文の概要: Few-Shot Unsupervised Continual Learning through Meta-Examples
- arxiv url: http://arxiv.org/abs/2009.08107v3
- Date: Tue, 17 Nov 2020 13:38:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:18:06.737135
- Title: Few-Shot Unsupervised Continual Learning through Meta-Examples
- Title（参考訳）: メタサンプルによる教師なし連続学習
- Authors: Alessia Bertugli, Stefano Vincenzi, Simone Calderara, Andrea Passerini
- Abstract要約: 教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。
我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。
数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
- 参考スコア（独自算出の注目度）: 21.954394608030388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world applications, data do not reflect the ones commonly used for
neural networks training, since they are usually few, unlabeled and can be
available as a stream. Hence many existing deep learning solutions suffer from
a limited range of applications, in particular in the case of online streaming
data that evolve over time. To narrow this gap, in this work we introduce a
novel and complex setting involving unsupervised meta-continual learning with
unbalanced tasks. These tasks are built through a clustering procedure applied
to a fitted embedding space. We exploit a meta-learning scheme that
simultaneously alleviates catastrophic forgetting and favors the generalization
to new tasks. Moreover, to encourage feature reuse during the
meta-optimization, we exploit a single inner loop taking advantage of an
aggregated representation achieved through the use of a self-attention
mechanism. Experimental results on few-shot learning benchmarks show
competitive performance even compared to the supervised case. Additionally, we
empirically observe that in an unsupervised scenario, the small tasks and the
variability in the clusters pooling play a crucial role in the generalization
capability of the network. Further, on complex datasets, the exploitation of
more clusters than the true number of classes leads to higher results, even
compared to the ones obtained with full supervision, suggesting that a
predefined partitioning into classes can miss relevant structural information.
- Abstract（参考訳）: 現実世界のアプリケーションでは、データはニューラルネットワークのトレーニングに一般的に使用されるものを反映していない。
したがって、既存のディープラーニングソリューションの多くは、特に時間とともに進化するオンラインストリーミングデータの場合、限られた範囲のアプリケーションに苦しめられている。
このギャップを狭めるため,本研究では,非教師なしのメタ連続学習と非バランスなタスクを含む,新しく複雑な設定を導入する。
これらのタスクは、組込み空間に適用されたクラスタリング手順によって構築される。
我々は,新しいタスクへの一般化を優先し,破滅的な忘れることを同時に緩和するメタラーニング手法を利用する。
さらに,メタ最適化時の機能再利用を促進するために,自己着脱機構を用いて集約表現を生かした単一の内部ループを利用する。
数ショットの学習ベンチマークによる実験結果から,教師付きケースと比較して競争性能が向上した。
さらに、教師なしのシナリオでは、小さなタスクとクラスタプールの可変性がネットワークの一般化能力において重要な役割を果たすことを実証的に観察する。
さらに、複雑なデータセットでは、真の数のクラスよりも多くのクラスタを利用すれば、完全な監視で得られたクラスタよりも高い結果が得られるため、事前に定義されたクラスへの分割は、関連する構造情報を見逃す可能性がある。
関連論文リスト
- Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning [15.41342100228504]
ディープラーニングでは、データが不足している状況での学習を容易にするために補助的な目的がしばしば使用される。
Detauxと呼ばれる新しいフレームワークを提案し、非関係な新しい分類タスクを見つけるために、弱い教師付き非絡み込み手順を用いている。
論文 参考訳（メタデータ） (2023-10-13T17:40:39Z) - A Distinct Unsupervised Reference Model From The Environment Helps
Continual Learning [5.332329421663282]
Open-Set Semi-Supervised Continual Learning (OSSCL)は、より現実的な半教師付き連続学習環境である。
i) 参照ネットワークは、未ラベルサンプルの幅広いスペクトルを用いて、環境における汎用的およびタスク非依存的な知識をキャプチャし、(ii) 学習者ネットワークは、教師付きサンプルを利用してタスク固有表現を学習するように設計されている。
論文 参考訳（メタデータ） (2023-01-11T15:05:36Z) - A Multi-label Continual Learning Framework to Scale Deep Learning
Approaches for Packaging Equipment Monitoring [57.5099555438223]
連続シナリオにおけるマルチラベル分類を初めて研究した。
タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。
我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
論文 参考訳（メタデータ） (2022-08-08T15:58:39Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2022-05-30T13:34:46Z) - Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
集合構造データから学ぶことは、近年注目を集めている根本的な問題である。
本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。
さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
論文 参考訳（メタデータ） (2021-10-18T09:49:05Z) - Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。
特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。
次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
論文 参考訳（メタデータ） (2021-08-06T05:20:46Z) - Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。
クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-14T23:46:17Z) - Continual Learning for Recurrent Neural Networks: a Review and Empirical
Evaluation [12.27992745065497]
リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。
コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。
我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
論文 参考訳（メタデータ） (2021-03-12T19:25:28Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z) - Sense and Learn: Self-Supervision for Omnipresent Sensors [9.442811508809994]
我々は、生の知覚データから表現や特徴学習のためのSense and Learnというフレームワークを提案する。
これは、面倒なラベル付けプロセスに人間が関与することなく、注釈のないデータから、高レベルで広範囲に有用な特徴を学習できる補助的なタスクで構成されている。
提案手法は、教師付きアプローチと競合する結果を達成し、ネットワークを微調整し、ほとんどの場合、下流タスクを学習することでギャップを埋める。
論文 参考訳（メタデータ） (2020-09-28T11:57:43Z) - CoLES: Contrastive Learning for Event Sequences with Self-Supervision [63.3568071938238]
本研究では,実世界のユーザが生成する個別イベントシーケンスにおける自己教師型学習の課題に対処する。
従来,音声やコンピュータビジョンの領域で使われていたコントラスト学習に適応する新しい手法"CoLES"を提案する。
論文 参考訳（メタデータ） (2020-02-19T15:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。