Fugu-MT 論文翻訳(概要): Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning

論文の概要: Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning

arxiv url: http://arxiv.org/abs/2301.09964v1
Date: Tue, 24 Jan 2023 12:53:06 GMT
ステータス: 処理完了
システム内更新日: 2023-01-25 13:44:57.988067
Title: Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning
Title（参考訳）: 半教師数発クラスインクリメンタル学習のための不確実性対応蒸留
Authors: Yawen Cui, Wanxia Deng, Haoyu Chen, and Li Liu
Abstract要約: クラス平衡による不確実性認識蒸留(UaD-CE)というフレームワークを提案する。疑似ラベル生成において,クラスバランスの取れた自己学習を取り入れたCEモジュールを導入する。 3つのベンチマークデータセットの総合的な実験により、本手法はラベルなしデータの適応性を向上できることを示した。
参考スコア（独自算出の注目度）: 16.90277839119862
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Given a model well-trained with a large-scale base dataset, Few-Shot Class-Incremental Learning (FSCIL) aims at incrementally learning novel classes from a few labeled samples by avoiding overfitting, without catastrophically forgetting all encountered classes previously. Currently, semi-supervised learning technique that harnesses freely-available unlabeled data to compensate for limited labeled data can boost the performance in numerous vision tasks, which heuristically can be applied to tackle issues in FSCIL, i.e., the Semi-supervised FSCIL (Semi-FSCIL). So far, very limited work focuses on the Semi-FSCIL task, leaving the adaptability issue of semi-supervised learning to the FSCIL task unresolved. In this paper, we focus on this adaptability issue and present a simple yet efficient Semi-FSCIL framework named Uncertainty-aware Distillation with Class-Equilibrium (UaD-CE), encompassing two modules UaD and CE. Specifically, when incorporating unlabeled data into each incremental session, we introduce the CE module that employs a class-balanced self-training to avoid the gradual dominance of easy-to-classified classes on pseudo-label generation. To distill reliable knowledge from the reference model, we further implement the UaD module that combines uncertainty-guided knowledge refinement with adaptive distillation. Comprehensive experiments on three benchmark datasets demonstrate that our method can boost the adaptability of unlabeled data with the semi-supervised learning technique in FSCIL tasks.
Abstract（参考訳）: 大規模なベースデータセットで十分にトレーニングされたモデルを考えると、Few-Shot Class-Incremental Learning (FSCIL)は、それまで遭遇したすべてのクラスを壊滅的に忘れることなく、オーバーフィッティングを避けることで、ラベル付きサンプルから新しいクラスを漸進的に学習することを目的としている。現在、限られたラベル付きデータを補うために、自由に利用可能なラベル付きデータを活用する半教師あり学習技術は、多くの視覚タスクにおけるパフォーマンスを高めることができる。これまでのところ、非常に限定的な作業はセミフシルタスクに焦点を当てており、半教師付き学習の適応性問題はfscilタスクに未解決のまま残されている。本稿では,この適応性問題に焦点をあて,UaDとCEの2つのモジュールを包含した,Uncertainty-aware Distillation with Class-Equilibrium (UaD-CE)という,シンプルで効率的なセミFSCILフレームワークを提案する。具体的には、各インクリメンタルセッションにラベル付きデータを組み込む際に、擬似ラベル生成におけるクラスバランスの自己学習を用いたCEモジュールを導入する。参照モデルから信頼性の高い知識を蒸留するために,不確実性誘導型知識精製と適応蒸留を組み合わせたUaDモジュールをさらに実装する。 FSCILタスクにおける半教師付き学習手法により,ラベルなしデータの適応性を向上できることを示す。

関連論文リスト

SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation [14.782756931646627]
プロパゲート・アンド・セレクト方式によるLLM適応のための半教師付き微調整フレームワークであるSemiEvolを紹介した。知識伝播のために、SemiEvolは2段階のアプローチを採用し、ラベル付きデータからインウェイトとインコンテクストの両方の方法でラベル付きデータに知識を伝達する。知識選択のために、SemiEvolは、高品質な擬応答サンプルを選択する協調学習機構を組み込んでいる。
論文参考訳（メタデータ） (2024-10-17T16:59:46Z)
TACLE: Task and Class-aware Exemplar-free Semi-supervised Class Incremental Learning [16.734025446561695]
そこで本研究では,先進的な半教師付きクラスインクリメンタルラーニングの問題に対処する新しいTACLEフレームワークを提案する。このシナリオでは、新しいタスクごとに、ラベル付きデータとラベルなしデータの両方から新しいクラスを学習する必要があります。事前訓練されたモデルの能力を活用することに加えて、TACLEは新しいタスク適応しきい値を提案する。
論文参考訳（メタデータ） (2024-07-10T20:46:35Z)
Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文参考訳（メタデータ） (2024-04-14T05:02:00Z)
Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
論文参考訳（メタデータ） (2024-02-02T08:05:35Z)
Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
論文参考訳（メタデータ） (2024-02-01T10:37:41Z)
Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文参考訳（メタデータ） (2023-12-27T04:40:12Z)
Learning in Imperfect Environment: Multi-Label Classification with Long-Tailed Distribution and Partial Labels [53.68653940062605]
新しいタスク, 部分ラベリングとLong-Tailed Multi-Label Classification (PLT-MLC) を導入する。その結果,ほとんどのLT-MLCとPL-MLCは劣化MLCの解決に失敗していることがわかった。 textbfCOrrection $rightarrow$ textbfModificattextbfIon $rightarrow$ balantextbfCe。
論文参考訳（メタデータ） (2023-04-20T20:05:08Z)
Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文参考訳（メタデータ） (2023-03-21T09:07:15Z)
SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2023-01-26T03:53:25Z)
Rethinking Few-Shot Class-Incremental Learning with Open-Set Hypothesis in Hyperbolic Geometry [21.38183613466714]
FSCIL(Few-Shot Class-Incremental Learning)は、いくつかのラベル付きサンプルから新しいクラスを段階的に学習することを目的としている。本稿では,FSCILの構成をオープンセット仮説で再考する。モデルにクローズセットとオープンセットの両方の認識により良いパフォーマンスを割り当てるために、ハイパーボリック・リシパル・ポイント・ラーニングモジュール(Hyper-RPL)は、ハイパーボリック・ニューラルネットワークを備えたリシパル・ポイント・ラーニング(Reciprocal Point Learning、RPL)上に構築されている。
論文参考訳（メタデータ） (2022-07-20T15:13:48Z)
FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
論文参考訳（メタデータ） (2020-12-06T15:46:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。