論文の概要: KD-FixMatch: Knowledge Distillation Siamese Neural Networks
- arxiv url: http://arxiv.org/abs/2309.05826v1
- Date: Mon, 11 Sep 2023 21:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 15:11:07.637992
- Title: KD-FixMatch: Knowledge Distillation Siamese Neural Networks
- Title（参考訳）: KD-FixMatch:知識蒸留シームスニューラルネットワーク
- Authors: Chien-Chih Wang, Shaoyuan Xu, Jinmiao Fu, Yang Liu, Bryan Wang
- Abstract要約: KD-FixMatchは知識蒸留を取り入れてFixMatchの限界に対処する新しいSSLアルゴリズムである。
このアルゴリズムは,SNNの逐次訓練と同時訓練を組み合わせて,性能の向上と性能劣化の低減を図る。
以上の結果から,KD-FixMatchはFixMatchよりも訓練開始点が良く,モデル性能が向上していることがわかった。
- 参考スコア（独自算出の注目度）: 13.678635878305247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-supervised learning (SSL) has become a crucial approach in deep learning
as a way to address the challenge of limited labeled data. The success of deep
neural networks heavily relies on the availability of large-scale high-quality
labeled data. However, the process of data labeling is time-consuming and
unscalable, leading to shortages in labeled data. SSL aims to tackle this
problem by leveraging additional unlabeled data in the training process. One of
the popular SSL algorithms, FixMatch, trains identical weight-sharing teacher
and student networks simultaneously using a siamese neural network (SNN).
However, it is prone to performance degradation when the pseudo labels are
heavily noisy in the early training stage. We present KD-FixMatch, a novel SSL
algorithm that addresses the limitations of FixMatch by incorporating knowledge
distillation. The algorithm utilizes a combination of sequential and
simultaneous training of SNNs to enhance performance and reduce performance
degradation. Firstly, an outer SNN is trained using labeled and unlabeled data.
After that, the network of the well-trained outer SNN generates pseudo labels
for the unlabeled data, from which a subset of unlabeled data with trusted
pseudo labels is then carefully created through high-confidence sampling and
deep embedding clustering. Finally, an inner SNN is trained with the labeled
data, the unlabeled data, and the subset of unlabeled data with trusted pseudo
labels. Experiments on four public data sets demonstrate that KD-FixMatch
outperforms FixMatch in all cases. Our results indicate that KD-FixMatch has a
better training starting point that leads to improved model performance
compared to FixMatch.
- Abstract（参考訳）: 限定ラベル付きデータの課題に対処する手段として,半教師付き学習(SSL)は,ディープラーニングにおいて重要なアプローチとなっている。
ディープニューラルネットワークの成功は、大規模な高品質ラベル付きデータの可用性に大きく依存している。
しかし、データラベリングのプロセスは時間がかかり、スケーラブルであり、ラベル付きデータの不足に繋がる。
SSLは、トレーニングプロセスで追加のラベルのないデータを活用することで、この問題に対処することを目指している。
一般的なSSLアルゴリズムのひとつであるFixMatchは、シアムニューラルネットワーク(SNN)を使用して、同じ重量共有教師と学生ネットワークを同時に訓練する。
しかし、初期のトレーニング段階で擬似ラベルが騒々しい場合、性能劣化が生じる傾向にある。
我々は知識蒸留を取り入れてFixMatchの限界に対処する新しいSSLアルゴリズムKD-FixMatchを提案する。
このアルゴリズムは,SNNの逐次訓練と同時訓練を組み合わせて,性能の向上と性能劣化の低減を図る。
まず、ラベル付きおよびラベルなしのデータを使用して外部SNNを訓練する。
その後、よく訓練された外部SNNのネットワークは、信頼された疑似ラベル付き未ラベルデータのサブセットを高信頼サンプリングと深層埋め込みクラスタリングにより慎重に作成する未ラベルデータの擬似ラベルを生成する。
最後に、内部SNNは、ラベル付きデータ、ラベルなしデータ、およびラベルなしデータのサブセットを信頼された疑似ラベルで訓練する。
4つの公開データセットの実験では、すべてのケースでKD-FixMatchがFixMatchを上回っている。
以上の結果から,KD-FixMatchはFixMatchよりも訓練開始点が良く,モデル性能が向上していることがわかった。
関連論文リスト
- ProtoCon: Pseudo-label Refinement via Online Clustering and Prototypical
Consistency for Efficient Semi-supervised Learning [60.57998388590556]
ProtoConは信頼性に基づく疑似ラベル作成の新しい手法である。
ProtoConのオンライン版では、データセット全体のラベル履歴を1回のトレーニングサイクルで活用することができる。
最先端のデータセットよりも大幅に向上し、より高速に収束する。
論文 参考訳（メタデータ） (2023-03-22T23:51:54Z) - NP-Match: Towards a New Probabilistic Model for Semi-Supervised Learning [86.60013228560452]
半教師付き学習(SSL)は近年広く研究されており、ラベルのないデータを活用する効果的な方法である。
本研究では,ニューラルネットワーク(NP)を半教師付き画像分類タスクに調整し,NP-Matchと呼ばれる新しい手法を提案する。
NP-Matchは、予測を行う際のデータポイントを暗黙的に比較し、その結果、ラベル付けされていない各データポイントの予測がラベル付きデータポイントに影響される。
論文 参考訳（メタデータ） (2023-01-31T11:44:45Z) - NP-Match: When Neural Processes meet Semi-Supervised Learning [133.009621275051]
半教師付き学習(SSL)は近年広く研究されており、ラベル付きデータへの依存を減らすためにラベル付きデータを活用する効果的な方法である。
本研究では,ニューラルネットワーク(NP)を半教師付き画像分類タスクに調整し,NP-Matchと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-07-03T15:24:31Z) - CLS: Cross Labeling Supervision for Semi-Supervised Learning [9.929229055862491]
Cross Labeling Supervision (CLS) は、典型的な擬似ラベル処理を一般化するフレームワークである。
CLSは擬似ラベルと相補ラベルの両方を作成でき、正と負の両方の学習をサポートする。
論文 参考訳（メタデータ） (2022-02-17T08:09:40Z) - Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。
ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。
しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
論文 参考訳（メタデータ） (2022-02-12T04:16:41Z) - Boosting Semi-Supervised Face Recognition with Noise Robustness [54.342992887966616]
本稿では,自動ラベルによるラベル雑音に対して頑健な半教師付き顔認識に対する効果的な解法を提案する。
そこで我々は,gnが強化するロバストな学習能力に基づく,ノイズロバスト学習ラベリング(nroll)という,半教師付き顔認識ソリューションを開発した。
論文 参考訳（メタデータ） (2021-05-10T14:43:11Z) - Relieving the Plateau: Active Semi-Supervised Learning for a Better
Landscape [2.3046646540823916]
semi-supervised learning (ssl) はラベル付きデータよりもアクセスしやすいラベルなしデータを活用する。
active learning (al)は、ラベルなしのインスタンスを選択して、ラベル付きデータの少ないパフォーマンスを期待する。
本稿では,ラベル付き集合を含む問題条件を改善するためにラベル付きデータを選択するALアルゴリズムである収束率制御(CRC)を提案する。
論文 参考訳（メタデータ） (2021-04-08T06:03:59Z) - KNN-enhanced Deep Learning Against Noisy Labels [4.765948508271371]
Deep Neural Networks(DNN)の監視学習は、データ空腹である。
本研究では,ラベルクリーンアップに深いKNNを適用することを提案する。
ニューラルネットワークを反復的にトレーニングし、ラベルを更新し、ラベル回復率の向上と分類性能の向上を同時に進める。
論文 参考訳（メタデータ） (2020-12-08T05:21:29Z) - Self-Competitive Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。
DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。
近年,データ拡張手法の提案が盛んに行われている。
本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
論文 参考訳（メタデータ） (2020-08-22T12:28:35Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳（メタデータ） (2020-07-01T04:48:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。