論文の概要: Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels

• arxiv url: http://arxiv.org/abs/2302.10586v3
• Date: Tue, 31 Oct 2023 11:38:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 03:58:13.325615
• Title: Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels
• Title（参考訳）: 拡散モデルと半監督学習者の相互適合性
• Authors: Zebin You, Yong Zhong, Fan Bao, Jiacheng Sun, Chongxuan Li, Jun Zhu
• Abstract要約: 二重擬似訓練(DPT)と呼ばれる簡易かつ効果的な訓練戦略を提案する。 DPTは、擬似ラベルを予測するために部分的にラベル付きデータで分類器を訓練し、擬似ラベルを使って条件付き生成モデルを訓練して擬似画像を生成する。 クラスごとに1つまたは2つのラベルで、DPTはImageNet 256x256でFr'echet Inception Distance (FID)スコアが3.08または2.52に達する。
• 参考スコア（独自算出の注目度）: 47.15381781274115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In an effort to further advance semi-supervised generative and classification tasks, we propose a simple yet effective training strategy called dual pseudo training (DPT), built upon strong semi-supervised learners and diffusion models. DPT operates in three stages: training a classifier on partially labeled data to predict pseudo-labels; training a conditional generative model using these pseudo-labels to generate pseudo images; and retraining the classifier with a mix of real and pseudo images. Empirically, DPT consistently achieves SOTA performance of semi-supervised generation and classification across various settings. In particular, with one or two labels per class, DPT achieves a Fr\'echet Inception Distance (FID) score of 3.08 or 2.52 on ImageNet 256x256. Besides, DPT outperforms competitive semi-supervised baselines substantially on ImageNet classification tasks, achieving top-1 accuracies of 59.0 (+2.8), 69.5 (+3.0), and 74.4 (+2.0) with one, two, or five labels per class, respectively. Notably, our results demonstrate that diffusion can generate realistic images with only a few labels (e.g., <0.1%) and generative augmentation remains viable for semi-supervised classification. Our code is available at https://github.com/ML-GSAI/DPT.
• Abstract（参考訳）: 半教師付き生成と分類のタスクをさらに進めるために,強い半教師付き学習者と拡散モデルに基づくdpt(dual pseudo training)と呼ばれる,単純かつ効果的なトレーニング戦略を提案する。 dptは、部分的にラベル付けされたデータで分類器を訓練し、擬似ラベルを予測し、これらの擬似ラベルを用いて条件付き生成モデルを訓練し、擬似画像を生成する。 経験的に、DPTは、様々な設定で半教師付き生成と分類のSOTA性能を一貫して達成する。 特に、クラスごとに1つまたは2つのラベルを持つDPTは、ImageNet 256x256でFr\echet Inception Distance(FID)スコアが3.08または2.52に達する。 さらに、DPTは画像ネット分類タスクにおいて、59.0 (+2.8) と69.5 (+3.0) と74.4 (+2.0) をそれぞれ1つ、2つ、または5つのラベルで達成し、競合する半教師付きベースラインを大幅に上回っている。 特に, 拡散は少数のラベル(例えば<0.1%)しか生成せず, 半教師付き分類では生成的増補が有効であることを示す。 私たちのコードはhttps://github.com/ML-GSAI/DPTで公開されています。

関連論文リスト

• Beyond the Label Itself: Latent Labels Enhance Semi-supervised Point Cloud Panoptic Segmentation [46.01433705072047]
  表示ラベルの裏側には,LiDARと画像データに埋め込まれた2種類の潜伏ラベルが存在する。 我々は、より信頼性の高いトレーニング用サンプルを拡張できる新しい拡張 Cylinder-Mix を提案する。 また、インスタンスの位置と規模に関する情報を学習し、融合するためのインスタンス位置スケール学習(IPSL)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-13T15:56:24Z)
• A Semi-Paired Approach For Label-to-Image Translation [6.888253564585197]
  ラベル・ツー・イメージ翻訳のための半教師付き(半ペア)フレームワークを初めて紹介する。 半ペア画像設定では、小さなペアデータとより大きなペア画像とラベルのセットにアクセスすることができる。 本稿では,この共有ネットワークのためのトレーニングアルゴリズムを提案し,非表現型クラスに着目した希少なクラスサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-23T16:13:43Z)
• Pseudo Labels for Single Positive Multi-Label Learning [0.0]
  単一正のマルチラベル学習(SPML)はコスト効率の良いソリューションであり、モデルがイメージ毎にひとつの正のラベルでトレーニングされる。 本研究では,1つの正のデータを完全なラベル付きデータに変換する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:21:42Z)
• NP-Match: Towards a New Probabilistic Model for Semi-Supervised Learning [86.60013228560452]
  半教師付き学習(SSL)は近年広く研究されており、ラベルのないデータを活用する効果的な方法である。 本研究では,ニューラルネットワーク(NP)を半教師付き画像分類タスクに調整し,NP-Matchと呼ばれる新しい手法を提案する。 NP-Matchは、予測を行う際のデータポイントを暗黙的に比較し、その結果、ラベル付けされていない各データポイントの予測がラベル付きデータポイントに影響される。
  論文  参考訳（メタデータ） (2023-01-31T11:44:45Z)
• Mix-Teaching: A Simple, Unified and Effective Semi-Supervised Learning Framework for Monocular 3D Object Detection [22.074959519526605]
  Mix-Teachingは、ラベル付き画像とラベルなし画像の両方をトレーニング段階で使用するための効果的な半教師付き学習フレームワークである。 Mix-Teaching は MonoFlex と GUPNet を KITTI データセット上で様々なラベル付け比率で大幅に改善している。
  論文  参考訳（メタデータ） (2022-07-10T12:07:25Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human Pose Estimation [80.02124918255059]
  半教師付き学習は、ラベルなし画像の探索によってモデルの精度を高めることを目的としている。 私たちは相互に教え合うために2つのネットワークを学びます。 各ネットワーク内の容易なイメージに関するより信頼性の高い予測は、他のネットワークに対応するハードイメージについて学ぶように教えるために使用される。
  論文  参考訳（メタデータ） (2020-11-25T03:29:52Z)
• Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
  ImageNet上での半教師あり学習に驚くほど効果的であることを示す。 我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。 ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
  論文  参考訳（メタデータ） (2020-06-17T17:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。