論文の概要: Uncertainty-Aware Distillation for Semi-Supervised Few-Shot
Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2301.09964v1
- Date: Tue, 24 Jan 2023 12:53:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-25 13:44:57.988067
- Title: Uncertainty-Aware Distillation for Semi-Supervised Few-Shot
Class-Incremental Learning
- Title（参考訳）: 半教師数発クラスインクリメンタル学習のための不確実性対応蒸留
- Authors: Yawen Cui, Wanxia Deng, Haoyu Chen, and Li Liu
- Abstract要約: クラス平衡による不確実性認識蒸留(UaD-CE)というフレームワークを提案する。
疑似ラベル生成において,クラスバランスの取れた自己学習を取り入れたCEモジュールを導入する。
3つのベンチマークデータセットの総合的な実験により、本手法はラベルなしデータの適応性を向上できることを示した。
- 参考スコア（独自算出の注目度）: 16.90277839119862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a model well-trained with a large-scale base dataset, Few-Shot
Class-Incremental Learning (FSCIL) aims at incrementally learning novel classes
from a few labeled samples by avoiding overfitting, without catastrophically
forgetting all encountered classes previously. Currently, semi-supervised
learning technique that harnesses freely-available unlabeled data to compensate
for limited labeled data can boost the performance in numerous vision tasks,
which heuristically can be applied to tackle issues in FSCIL, i.e., the
Semi-supervised FSCIL (Semi-FSCIL). So far, very limited work focuses on the
Semi-FSCIL task, leaving the adaptability issue of semi-supervised learning to
the FSCIL task unresolved. In this paper, we focus on this adaptability issue
and present a simple yet efficient Semi-FSCIL framework named Uncertainty-aware
Distillation with Class-Equilibrium (UaD-CE), encompassing two modules UaD and
CE. Specifically, when incorporating unlabeled data into each incremental
session, we introduce the CE module that employs a class-balanced self-training
to avoid the gradual dominance of easy-to-classified classes on pseudo-label
generation. To distill reliable knowledge from the reference model, we further
implement the UaD module that combines uncertainty-guided knowledge refinement
with adaptive distillation. Comprehensive experiments on three benchmark
datasets demonstrate that our method can boost the adaptability of unlabeled
data with the semi-supervised learning technique in FSCIL tasks.
- Abstract（参考訳）: 大規模なベースデータセットで十分にトレーニングされたモデルを考えると、Few-Shot Class-Incremental Learning (FSCIL)は、それまで遭遇したすべてのクラスを壊滅的に忘れることなく、オーバーフィッティングを避けることで、ラベル付きサンプルから新しいクラスを漸進的に学習することを目的としている。
現在、限られたラベル付きデータを補うために、自由に利用可能なラベル付きデータを活用する半教師あり学習技術は、多くの視覚タスクにおけるパフォーマンスを高めることができる。
これまでのところ、非常に限定的な作業はセミフシルタスクに焦点を当てており、半教師付き学習の適応性問題はfscilタスクに未解決のまま残されている。
本稿では,この適応性問題に焦点をあて,UaDとCEの2つのモジュールを包含した,Uncertainty-aware Distillation with Class-Equilibrium (UaD-CE)という,シンプルで効率的なセミFSCILフレームワークを提案する。
具体的には、各インクリメンタルセッションにラベル付きデータを組み込む際に、擬似ラベル生成におけるクラスバランスの自己学習を用いたCEモジュールを導入する。
参照モデルから信頼性の高い知識を蒸留するために,不確実性誘導型知識精製と適応蒸留を組み合わせたUaDモジュールをさらに実装する。
FSCILタスクにおける半教師付き学習手法により,ラベルなしデータの適応性を向上できることを示す。
関連論文リスト
- An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning [58.59343434538218]
間接学習の観点から、ラベルなしデータの正負の擬似ラベルを正確に予測するための、単純だが非常に効果的な手法を提案する。
私たちのアプローチは、オフザシェルフ操作のみを使用することで、ほんの数行のコードで実装できます。
論文 参考訳（メタデータ） (2022-09-28T02:11:34Z) - Consistency-Based Semi-supervised Evidential Active Learning for
Diagnostic Radiograph Classification [2.3545156585418328]
CSEAL(Consistency-based Semi-supervised Evidential Active Learning)フレームワークについて紹介する。
我々は、証拠理論と主観的論理に基づく予測の不確実性を利用して、エンドツーエンドの統合アプローチを開発する。
本手法は, ラベル付きサンプルを少なくして, より稀な異常の精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-09-05T09:28:31Z) - Rethinking Few-Shot Class-Incremental Learning with Open-Set Hypothesis
in Hyperbolic Geometry [21.38183613466714]
FSCIL(Few-Shot Class-Incremental Learning)は、いくつかのラベル付きサンプルから新しいクラスを段階的に学習することを目的としている。
本稿では,FSCILの構成をオープンセット仮説で再考する。
モデルにクローズセットとオープンセットの両方の認識により良いパフォーマンスを割り当てるために、ハイパーボリック・リシパル・ポイント・ラーニングモジュール(Hyper-RPL)は、ハイパーボリック・ニューラルネットワークを備えたリシパル・ポイント・ラーニング(Reciprocal Point Learning、RPL)上に構築されている。
論文 参考訳（メタデータ） (2022-07-20T15:13:48Z) - Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。
サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文 参考訳（メタデータ） (2022-05-02T16:09:17Z) - Class-Aware Contrastive Semi-Supervised Learning [51.205844705156046]
本研究では,擬似ラベル品質を向上し,実環境におけるモデルの堅牢性を高めるため,CCSSL(Class-Aware Contrastive Semi-Supervised Learning)と呼ばれる一般的な手法を提案する。
提案するCCSSLは,標準データセットCIFAR100とSTL10の最先端SSLメソッドに対して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-03-04T12:18:23Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Uncertainty-Aware Deep Co-training for Semi-supervised Medical Image
Segmentation [4.935055133266873]
本研究では,モデルが意図的に領域を学習するための新しい不確実性認識方式を提案する。
具体的には,不確実性マップを得るためにモンテカルロサンプリングを推定法として利用する。
後ろ向きのプロセスでは、ネットワークの収束を加速するために、教師なしの損失と教師なしの損失を共同で処理する。
論文 参考訳（メタデータ） (2021-11-23T03:26:24Z) - BiSTF: Bilateral-Branch Self-Training Framework for Semi-Supervised
Large-scale Fine-Grained Recognition [28.06659482245647]
半教師付きファイングラインド認識は、データ不均衡、高いクラス間類似性、ドメインミスマッチによる課題である。
本稿では,バイラテラルブランチ・セルフトレーニング・フレームワーク (Bilateral-Branch Self-Training Framework, BiSTF) を提案する。
BiSTFはSemi-iNatデータセット上で既存の最先端SSLよりも優れています。
論文 参考訳（メタデータ） (2021-07-14T15:28:54Z) - Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。
ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。
SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文 参考訳（メタデータ） (2021-02-25T14:56:19Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳（メタデータ） (2020-12-06T15:46:04Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳（メタデータ） (2020-09-08T21:55:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。