論文の概要: Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels

• arxiv url: http://arxiv.org/abs/2302.10586v1
• Date: Tue, 21 Feb 2023 10:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 15:40:18.884981
• Title: Diffusion Models and Semi-Supervised Learners Benefit Mutually with Few Labels
• Title（参考訳）: 拡散モデルと半監督学習者の相互適合性
• Authors: Zebin You, Yong Zhong, Fan Bao, Jiacheng Sun, Chongxuan Li, Jun Zhu
• Abstract要約: 半教師あり学習における条件付き画像生成と分類のための3段階学習戦略を提案する。 条件付き生成モデルは、擬似ラベルで全てのデータに基づいて訓練され、与えられた擬似画像を生成する。 大規模拡散モデルと半教師付き学習者は、DPTを介していくつかのラベルと相互に利益を享受できることを示す。
• 参考スコア（独自算出の注目度）: 32.48687988647931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a three-stage training strategy called dual pseudo training (DPT) for conditional image generation and classification in semi-supervised learning. First, a classifier is trained on partially labeled data and predicts pseudo labels for all data. Second, a conditional generative model is trained on all data with pseudo labels and generates pseudo images given labels. Finally, the classifier is trained on real data augmented by pseudo images with labels. We demonstrate large-scale diffusion models and semi-supervised learners benefit mutually with a few labels via DPT. In particular, on the ImageNet 256x256 generation benchmark, DPT can generate realistic, diverse, and semantically correct images with very few labels. With two (i.e., < 0.2%) and five (i.e., < 0.4%) labels per class, DPT achieves an FID of 3.44 and 3.37 respectively, outperforming strong diffusion models with full labels, such as IDDPM, CDM, ADM, and LDM. Besides, DPT outperforms competitive semi-supervised baselines substantially on ImageNet classification benchmarks with one, two, and five labels per class, achieving state-of-the-art top-1 accuracies of 59.0 (+2.8), 69.5 (+3.0), and 73.6 (+1.2) respectively.
• Abstract（参考訳）: 半教師付き学習における条件付き画像生成と分類のためのdpt(dual pseudo training)と呼ばれる3段階学習戦略を提案する。 まず、分類器は部分的にラベル付けされたデータに基づいて訓練され、すべてのデータに対する擬似ラベルを予測する。 第二に、条件付き生成モデルは擬似ラベルで全てのデータに基づいて訓練され、与えられた擬似画像を生成する。 最後に、ラベル付き擬似画像によって強調された実データに基づいて分類器を訓練する。 大規模拡散モデルと半教師付き学習者は、DPTを介していくつかのラベルと相互に利益を示す。 特に、ImageNet 256x256生成ベンチマークでは、DPTは非常に少ないラベルで現実的で多様性があり、セマンティックに正しい画像を生成することができる。 クラスごとに2つの(すなわち < 0.2%)と5つの(すなわち < 0.4%)ラベルを持つDPTは、それぞれ3.44と3.37のFIDを達成し、IDDPM、CDM、ADM、LDMといったフルラベルの強い拡散モデルよりも優れている。 さらに、DPTは、ImageNet分類ベンチマークにおいて、1クラスあたり1、2、5ラベルで、59.0 (+2.8), 69.5 (+3.0), 73.6 (+1.2)の最先端トップ1アキュラシーをそれぞれ達成し、競合する半教師付きベースラインをほぼ上回っている。

関連論文リスト

• Beyond the Label Itself: Latent Labels Enhance Semi-supervised Point Cloud Panoptic Segmentation [46.01433705072047]
  表示ラベルの裏側には,LiDARと画像データに埋め込まれた2種類の潜伏ラベルが存在する。 我々は、より信頼性の高いトレーニング用サンプルを拡張できる新しい拡張 Cylinder-Mix を提案する。 また、インスタンスの位置と規模に関する情報を学習し、融合するためのインスタンス位置スケール学習(IPSL)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-13T15:56:24Z)
• A Semi-Paired Approach For Label-to-Image Translation [6.888253564585197]
  ラベル・ツー・イメージ翻訳のための半教師付き(半ペア)フレームワークを初めて紹介する。 半ペア画像設定では、小さなペアデータとより大きなペア画像とラベルのセットにアクセスすることができる。 本稿では,この共有ネットワークのためのトレーニングアルゴリズムを提案し,非表現型クラスに着目した希少なクラスサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-23T16:13:43Z)
• Pseudo Labels for Single Positive Multi-Label Learning [0.0]
  単一正のマルチラベル学習(SPML)はコスト効率の良いソリューションであり、モデルがイメージ毎にひとつの正のラベルでトレーニングされる。 本研究では,1つの正のデータを完全なラベル付きデータに変換する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:21:42Z)
• NP-Match: Towards a New Probabilistic Model for Semi-Supervised Learning [86.60013228560452]
  半教師付き学習(SSL)は近年広く研究されており、ラベルのないデータを活用する効果的な方法である。 本研究では,ニューラルネットワーク(NP)を半教師付き画像分類タスクに調整し,NP-Matchと呼ばれる新しい手法を提案する。 NP-Matchは、予測を行う際のデータポイントを暗黙的に比較し、その結果、ラベル付けされていない各データポイントの予測がラベル付きデータポイントに影響される。
  論文  参考訳（メタデータ） (2023-01-31T11:44:45Z)
• Mix-Teaching: A Simple, Unified and Effective Semi-Supervised Learning Framework for Monocular 3D Object Detection [22.074959519526605]
  Mix-Teachingは、ラベル付き画像とラベルなし画像の両方をトレーニング段階で使用するための効果的な半教師付き学習フレームワークである。 Mix-Teaching は MonoFlex と GUPNet を KITTI データセット上で様々なラベル付け比率で大幅に改善している。
  論文  参考訳（メタデータ） (2022-07-10T12:07:25Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)
• Semi-Supervised Domain Adaptation with Prototypical Alignment and Consistency Learning [86.6929930921905]
  本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。 ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。 具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
  論文  参考訳（メタデータ） (2021-04-19T08:46:08Z)
• An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human Pose Estimation [80.02124918255059]
  半教師付き学習は、ラベルなし画像の探索によってモデルの精度を高めることを目的としている。 私たちは相互に教え合うために2つのネットワークを学びます。 各ネットワーク内の容易なイメージに関するより信頼性の高い予測は、他のネットワークに対応するハードイメージについて学ぶように教えるために使用される。
  論文  参考訳（メタデータ） (2020-11-25T03:29:52Z)
• Big Self-Supervised Models are Strong Semi-Supervised Learners [116.00752519907725]
  ImageNet上での半教師あり学習に驚くほど効果的であることを示す。 我々のアプローチの重要な要素は、事前訓練と微調整において大きな(深度と広度)ネットワークを使用することである。 ラベルが少なくなればなるほど、より大きなネットワークから、このアプローチ(ラベル付きデータのタスクに依存しない使用)が恩恵を受けることが分かっています。
  論文  参考訳（メタデータ） (2020-06-17T17:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。