論文の概要: A Distinct Unsupervised Reference Model From The Environment Helps
Continual Learning
- arxiv url: http://arxiv.org/abs/2301.04506v1
- Date: Wed, 11 Jan 2023 15:05:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 14:18:52.066954
- Title: A Distinct Unsupervised Reference Model From The Environment Helps
Continual Learning
- Title（参考訳）: 環境からの教師なし参照モデルは連続学習に役立つ
- Authors: Seyyed AmirHossein Ameli Kalkhoran, Mohammadamin Banayeeanzade, Mahdi
Samiei, Mahdieh Soleymani Baghshah
- Abstract要約: Open-Set Semi-Supervised Continual Learning (OSSCL)は、より現実的な半教師付き連続学習環境である。
i) 参照ネットワークは、未ラベルサンプルの幅広いスペクトルを用いて、環境における汎用的およびタスク非依存的な知識をキャプチャし、(ii) 学習者ネットワークは、教師付きサンプルを利用してタスク固有表現を学習するように設計されている。
- 参考スコア（独自算出の注目度）: 5.332329421663282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The existing continual learning methods are mainly focused on
fully-supervised scenarios and are still not able to take advantage of
unlabeled data available in the environment. Some recent works tried to
investigate semi-supervised continual learning (SSCL) settings in which the
unlabeled data are available, but it is only from the same distribution as the
labeled data. This assumption is still not general enough for real-world
applications and restricts the utilization of unsupervised data. In this work,
we introduce Open-Set Semi-Supervised Continual Learning (OSSCL), a more
realistic semi-supervised continual learning setting in which
out-of-distribution (OoD) unlabeled samples in the environment are assumed to
coexist with the in-distribution ones. Under this configuration, we present a
model with two distinct parts: (i) the reference network captures
general-purpose and task-agnostic knowledge in the environment by using a broad
spectrum of unlabeled samples, (ii) the learner network is designed to learn
task-specific representations by exploiting supervised samples. The reference
model both provides a pivotal representation space and also segregates
unlabeled data to exploit them more efficiently. By performing a diverse range
of experiments, we show the superior performance of our model compared with
other competitors and prove the effectiveness of each component of the proposed
model.
- Abstract（参考訳）: 既存の連続学習法は、主に完全に教師ありのシナリオに焦点を当てており、まだ環境に利用可能なラベルなしのデータを活用できない。
最近の研究は、ラベル付きデータが利用可能である半教師付き連続学習(SSCL)の設定を調査しようとしたが、ラベル付きデータと同じ分布である。
この仮定はいまだに現実世界のアプリケーションには不十分であり、教師なしデータの利用を制限する。
本研究は,OoD (out-of-distribution) の非ラベルサンプルを非配布サンプルと共存させる,より現実的な半教師付き連続学習環境であるOSSCLを紹介する。
この構成では、2つの異なる部分を持つモデルを示す。
i) 参照ネットワークは、未ラベルサンプルの幅広いスペクトルを用いて、環境における汎用的およびタスク非依存的な知識をキャプチャする。
(ii)学習者ネットワークは教師付きサンプルを利用してタスク固有の表現を学習するように設計されている。
参照モデルはどちらもピボット表現空間を提供し、ラベルのないデータを分離してより効率的に活用する。
多様な実験を行うことで,他の競合モデルと比較して,モデルの性能が優れており,提案モデルの各コンポーネントの有効性が証明されている。
関連論文リスト
- Label-Agnostic Forgetting: A Supervision-Free Unlearning in Deep Models [7.742594744641462]
機械学習の目的は、よく訓練されたモデルで残りのデータセットのデータを保存しながら、忘れられたデータから派生した情報を削除することである。
本研究では,アンラーニングプロセス中にラベルを必要とせずに,教師なしのアンラーニングアプローチを提案する。
論文 参考訳（メタデータ） (2024-03-31T00:29:00Z) - Exploring the Boundaries of Semi-Supervised Facial Expression Recognition using In-Distribution, Out-of-Distribution, and Unconstrained Data [23.4909421082857]
表情認識(FER)における最新の半教師あり手法11について検討する。
本研究は,非流通,アウト・オブ・ディストリビューション,制約のない,非常に小さなデータからの半教師付き学習を対象とする。
ラベル付きサンプルの数が等しいため、半教師付き学習は教師付き学習よりも大幅に改善される。
論文 参考訳（メタデータ） (2023-06-02T01:40:08Z) - Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。
本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。
Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-21T09:07:15Z) - Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised
Person Re-Identification and Text Authorship Attribution [77.85461690214551]
完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。
近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。
本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
論文 参考訳（メタデータ） (2022-02-07T13:08:11Z) - Improving Contrastive Learning on Imbalanced Seed Data via Open-World
Sampling [96.8742582581744]
我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。
MAKは、尾性、近接性、多様性の3つの単純な原則に従う。
我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
論文 参考訳（メタデータ） (2021-11-01T15:09:41Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z) - Few-Shot Unsupervised Continual Learning through Meta-Examples [21.954394608030388]
教師なしメタコンチネンタル学習とタスクのバランスが取れない新しい複雑な設定を導入する。
我々は、破滅的な忘れを同時に軽減し、新しいタスクへの一般化を優先するメタラーニング手法を利用する。
数ショットの学習ベンチマークによる実験結果から, 教師付きケースと比較して, 競争性能が向上した。
論文 参考訳（メタデータ） (2020-09-17T07:02:07Z) - On Deep Unsupervised Active Learning [41.579343330613675]
教師なしアクティブラーニングは、教師なしアノテートのための教師なしセッティングで代表サンプルを選択することを目的としている。
本稿では,教師なしアクティブラーニングのための新しいディープニューラルネットワークフレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-28T02:52:21Z) - Learning to Count in the Crowd from Limited Labeled Data [109.2954525909007]
我々は,限られた数のラベル付きサンプルから参加者を数えることを学ぶことで,アノテーションの努力を減らすことに重点を置いている。
具体的には,未ラベルデータに対する擬似地下真理推定を含むガウス過程に基づく反復学習機構を提案する。
論文 参考訳（メタデータ） (2020-07-07T04:17:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。