論文の概要: Uncertainty-Aware Distillation for Semi-Supervised Few-Shot
Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2301.09964v1
- Date: Tue, 24 Jan 2023 12:53:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-01-25 13:44:57.988067
- Title: Uncertainty-Aware Distillation for Semi-Supervised Few-Shot
Class-Incremental Learning
- Title（参考訳）: 半教師数発クラスインクリメンタル学習のための不確実性対応蒸留
- Authors: Yawen Cui, Wanxia Deng, Haoyu Chen, and Li Liu
- Abstract要約: クラス平衡による不確実性認識蒸留(UaD-CE)というフレームワークを提案する。
疑似ラベル生成において,クラスバランスの取れた自己学習を取り入れたCEモジュールを導入する。
3つのベンチマークデータセットの総合的な実験により、本手法はラベルなしデータの適応性を向上できることを示した。
- 参考スコア（独自算出の注目度）: 16.90277839119862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a model well-trained with a large-scale base dataset, Few-Shot
Class-Incremental Learning (FSCIL) aims at incrementally learning novel classes
from a few labeled samples by avoiding overfitting, without catastrophically
forgetting all encountered classes previously. Currently, semi-supervised
learning technique that harnesses freely-available unlabeled data to compensate
for limited labeled data can boost the performance in numerous vision tasks,
which heuristically can be applied to tackle issues in FSCIL, i.e., the
Semi-supervised FSCIL (Semi-FSCIL). So far, very limited work focuses on the
Semi-FSCIL task, leaving the adaptability issue of semi-supervised learning to
the FSCIL task unresolved. In this paper, we focus on this adaptability issue
and present a simple yet efficient Semi-FSCIL framework named Uncertainty-aware
Distillation with Class-Equilibrium (UaD-CE), encompassing two modules UaD and
CE. Specifically, when incorporating unlabeled data into each incremental
session, we introduce the CE module that employs a class-balanced self-training
to avoid the gradual dominance of easy-to-classified classes on pseudo-label
generation. To distill reliable knowledge from the reference model, we further
implement the UaD module that combines uncertainty-guided knowledge refinement
with adaptive distillation. Comprehensive experiments on three benchmark
datasets demonstrate that our method can boost the adaptability of unlabeled
data with the semi-supervised learning technique in FSCIL tasks.
- Abstract（参考訳）: 大規模なベースデータセットで十分にトレーニングされたモデルを考えると、Few-Shot Class-Incremental Learning (FSCIL)は、それまで遭遇したすべてのクラスを壊滅的に忘れることなく、オーバーフィッティングを避けることで、ラベル付きサンプルから新しいクラスを漸進的に学習することを目的としている。
現在、限られたラベル付きデータを補うために、自由に利用可能なラベル付きデータを活用する半教師あり学習技術は、多くの視覚タスクにおけるパフォーマンスを高めることができる。
これまでのところ、非常に限定的な作業はセミフシルタスクに焦点を当てており、半教師付き学習の適応性問題はfscilタスクに未解決のまま残されている。
本稿では,この適応性問題に焦点をあて,UaDとCEの2つのモジュールを包含した,Uncertainty-aware Distillation with Class-Equilibrium (UaD-CE)という,シンプルで効率的なセミFSCILフレームワークを提案する。
具体的には、各インクリメンタルセッションにラベル付きデータを組み込む際に、擬似ラベル生成におけるクラスバランスの自己学習を用いたCEモジュールを導入する。
参照モデルから信頼性の高い知識を蒸留するために,不確実性誘導型知識精製と適応蒸留を組み合わせたUaDモジュールをさらに実装する。
FSCILタスクにおける半教師付き学習手法により,ラベルなしデータの適応性を向上できることを示す。
関連論文リスト
- Unbiased Max-Min Embedding Classification for Transductive Few-Shot Learning: Clustering and Classification Are All You Need [83.10178754323955]
わずかなショットラーニングにより、モデルがいくつかのラベル付き例から一般化できる。
本稿では,Unbiased Max-Min Embedding Classification (UMMEC)法を提案する。
本手法は最小ラベル付きデータを用いて分類性能を著しく向上させ, 注釈付きLの最先端化を推し進める。
論文 参考訳（メタデータ） (2025-03-28T07:23:07Z) - Breaking the SSL-AL Barrier: A Synergistic Semi-Supervised Active Learning Framework for 3D Object Detection [34.049483237480615]
従来のアクティブな学習アプローチは、データ選択の初期モデルをトレーニングするために、少量のラベル付きデータに依存しています。
本稿では,S-SSALと呼ばれるSynergistic Semi-Supervised Active Learningフレームワークを提案する。
S-SSALは全データセットでトレーニングされたモデルに匹敵する性能が得られることを示す。
論文 参考訳（メタデータ） (2025-01-26T08:43:59Z) - SeMi: When Imbalanced Semi-Supervised Learning Meets Mining Hard Examples [54.760757107700755]
Semi-Supervised Learning (SSL)は、豊富なラベルのないデータを活用して、モデルのパフォーマンスを向上させる。
実世界のシナリオにおけるクラス不均衡なデータ分散は、SSLに大きな課題をもたらし、結果としてパフォーマンスが低下する。
マイニングハードケース(SeMi)による不均衡半教師学習の性能向上手法を提案する。
論文 参考訳（メタデータ） (2025-01-10T14:35:16Z) - SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation [14.782756931646627]
プロパゲート・アンド・セレクト方式によるLLM適応のための半教師付き微調整フレームワークであるSemiEvolを紹介した。
知識伝播のために、SemiEvolは2段階のアプローチを採用し、ラベル付きデータからインウェイトとインコンテクストの両方の方法でラベル付きデータに知識を伝達する。
知識選択のために、SemiEvolは、高品質な擬応答サンプルを選択する協調学習機構を組み込んでいる。
論文 参考訳（メタデータ） (2024-10-17T16:59:46Z) - TACLE: Task and Class-aware Exemplar-free Semi-supervised Class Incremental Learning [16.734025446561695]
そこで本研究では,先進的な半教師付きクラスインクリメンタルラーニングの問題に対処する新しいTACLEフレームワークを提案する。
このシナリオでは、新しいタスクごとに、ラベル付きデータとラベルなしデータの両方から新しいクラスを学習する必要があります。
事前訓練されたモデルの能力を活用することに加えて、TACLEは新しいタスク適応しきい値を提案する。
論文 参考訳（メタデータ） (2024-07-10T20:46:35Z) - Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳（メタデータ） (2024-04-14T05:02:00Z) - Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。
実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
論文 参考訳（メタデータ） (2024-02-02T08:05:35Z) - Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。
最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。
本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-01T10:37:41Z) - Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳（メタデータ） (2023-12-27T04:40:12Z) - Learning in Imperfect Environment: Multi-Label Classification with
Long-Tailed Distribution and Partial Labels [53.68653940062605]
新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。
その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。
textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
論文 参考訳（メタデータ） (2023-04-20T20:05:08Z) - Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。
本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。
Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-21T09:07:15Z) - SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised
Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。
トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。
実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文 参考訳（メタデータ） (2023-01-26T03:53:25Z) - Rethinking Few-Shot Class-Incremental Learning with Open-Set Hypothesis
in Hyperbolic Geometry [21.38183613466714]
FSCIL(Few-Shot Class-Incremental Learning)は、いくつかのラベル付きサンプルから新しいクラスを段階的に学習することを目的としている。
本稿では,FSCILの構成をオープンセット仮説で再考する。
モデルにクローズセットとオープンセットの両方の認識により良いパフォーマンスを割り当てるために、ハイパーボリック・リシパル・ポイント・ラーニングモジュール(Hyper-RPL)は、ハイパーボリック・ニューラルネットワークを備えたリシパル・ポイント・ラーニング(Reciprocal Point Learning、RPL)上に構築されている。
論文 参考訳（メタデータ） (2022-07-20T15:13:48Z) - FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。
既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。
本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文 参考訳（メタデータ） (2020-12-06T15:46:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。