論文の概要: Learning Representations for New Sound Classes With Continual
Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2205.07390v1
- Date: Sun, 15 May 2022 22:15:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 18:00:34.081141
- Title: Learning Representations for New Sound Classes With Continual
Self-Supervised Learning
- Title(参考訳): 継続的自己監督学習による新しい音科授業の学習表現
- Authors: Zhepei Wang, Cem Subakan, Xilin Jiang, Junkai Wu, Efthymios Tzinis,
Mirco Ravanelli, Paris Smaragdis
- Abstract要約: 本稿では,新しい音響クラスのための表現を継続的に学習するための自己教師型学習フレームワークを提案する。
提案手法を用いて学習した表現は,より一般化され,破滅的な忘れ込みに対する感受性が低いことを示す。
- 参考スコア(独自算出の注目度): 30.35061954854764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a self-supervised learning framework for
continually learning representations for new sound classes. The proposed system
relies on a continually trained neural encoder that is trained with
similarity-based learning objectives without using labels. We show that
representations learned with the proposed method generalize better and are less
susceptible to catastrophic forgetting than fully-supervised approaches.
Remarkably, our technique does not store past data or models and is more
computationally efficient than distillation-based methods. To accurately assess
the system performance, in addition to using existing protocols, we propose two
realistic evaluation protocols that use only a small amount of labeled data to
simulate practical use cases.
- Abstract(参考訳): 本稿では,新しい音響クラスの表現を継続的に学習するための自己教師あり学習フレームワークを提案する。
提案するシステムは,ラベルを使わずに類似性に基づく学習目標で学習される,継続的に学習されるニューラルネットワークエンコーダに依存している。
提案手法で学習した表現はより一般化し,完全な教師付きアプローチよりも壊滅的忘れやすいことを示した。
この手法は過去のデータやモデルを保存せず、蒸留法よりも計算効率が高い。
システムの性能を正確に評価するために,既存のプロトコルに加えて,少量のラベル付きデータのみを用いて実用的なユースケースをシミュレートする2つの現実的な評価プロトコルを提案する。
関連論文リスト
- Continual Learning in Open-vocabulary Classification with Complementary
Memory Systems [21.1249754998627]
オープン語彙画像分類におけるフレキシブルで効率的な連続学習法を提案する。
サンプルのクラスが模範クラス内にあるというゼロショット推定確率を用いて、CLIPゼロショットモデルと模範モデルからの予測を組み合わせる。
また,遅延学習の原則を適応した"ツリープローブ"手法を提案し,競合精度の高い新しい例からバッチ学習線形モデルへの高速学習を実現する。
論文 参考訳(メタデータ) (2023-07-04T01:47:34Z) - Active Learning Guided by Efficient Surrogate Learners [25.52920030051264]
1つのデータポイントが新しいラベルを受け取るたびに、ディープラーニングモデルを再トレーニングするのは現実的ではない。
本稿では,ニューラルネットワークの主学習者とともに,ガウス過程の力を利用する新しい能動学習アルゴリズムを提案する。
提案モデルでは,新しいデータインスタンス毎のサロゲート学習者を積極的に更新し,ニューラルネットワークの連続学習ダイナミクスをエミュレートし,活用する。
論文 参考訳(メタデータ) (2023-01-07T01:35:25Z) - Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。
表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
論文 参考訳(メタデータ) (2022-06-16T11:44:11Z) - Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。
広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。
リハーサルに基づく連続学習のためのコアセット選択法を考案する。
論文 参考訳(メタデータ) (2022-03-28T07:37:17Z) - Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。
合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文 参考訳(メタデータ) (2022-02-04T15:46:27Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-28T06:14:38Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - Improving Classification through Weak Supervision in Context-specific
Conversational Agent Development for Teacher Education [1.215785021723604]
教育シナリオ固有の会話エージェントを開発するのに必要な労力は、時間を要する。
アノテーションをモデリングするための従来のアプローチは、何千もの例をラベル付けし、アノテーション間の合意と多数決を計算することに依存してきた。
本稿では,これらの問題に対処するために,多タスク弱監視手法とアクティブラーニングを組み合わせた手法を提案する。
論文 参考訳(メタデータ) (2020-10-23T23:39:40Z) - Robust Imitation Learning from Noisy Demonstrations [81.67837507534001]
我々は,対称的損失を伴う分類リスクを最適化することにより,ロバストな模倣学習を実現することができることを示す。
擬似ラベルと協調学習を効果的に組み合わせた新しい模倣学習法を提案する。
連続制御ベンチマークによる実験結果から,本手法は最先端手法よりも頑健であることがわかった。
論文 参考訳(メタデータ) (2020-10-20T10:41:37Z) - Region Comparison Network for Interpretable Few-shot Image
Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。
本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。
また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文 参考訳(メタデータ) (2020-09-08T07:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。