論文の概要: Diffusion Models Beat GANs on Image Classification

• arxiv url: http://arxiv.org/abs/2307.08702v1
• Date: Mon, 17 Jul 2023 17:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 11:49:34.117285
• Title: Diffusion Models Beat GANs on Image Classification
• Title（参考訳）: 画像分類における拡散モデルビートgans
• Authors: Soumik Mukhopadhyay, Matthew Gwilliam, Vatsal Agarwal, Namitha Padmanabhan, Archana Swaminathan, Srinidhi Hegde, Tianyi Zhou, Abhinav Shrivastava
• Abstract要約: 拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。 本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。 注意深い特徴選択とプーリングにより、拡散モデルは、分類タスクにおいて同等な生成的識別的手法より優れていることが判明した。
• 参考スコア（独自算出の注目度）: 37.70821298392606
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While many unsupervised learning models focus on one family of tasks, either generative or discriminative, we explore the possibility of a unified representation learner: a model which uses a single pre-training stage to address both families of tasks simultaneously. We identify diffusion models as a prime candidate. Diffusion models have risen to prominence as a state-of-the-art method for image generation, denoising, inpainting, super-resolution, manipulation, etc. Such models involve training a U-Net to iteratively predict and remove noise, and the resulting model can synthesize high fidelity, diverse, novel images. The U-Net architecture, as a convolution-based architecture, generates a diverse set of feature representations in the form of intermediate feature maps. We present our findings that these embeddings are useful beyond the noise prediction task, as they contain discriminative information and can also be leveraged for classification. We explore optimal methods for extracting and using these embeddings for classification tasks, demonstrating promising results on the ImageNet classification task. We find that with careful feature selection and pooling, diffusion models outperform comparable generative-discriminative methods such as BigBiGAN for classification tasks. We investigate diffusion models in the transfer learning regime, examining their performance on several fine-grained visual classification datasets. We compare these embeddings to those generated by competing architectures and pre-trainings for classification tasks.
• Abstract（参考訳）: 多くの教師なし学習モデルは、生成的または識別的のいずれかのタスクの1つのファミリーに焦点を当てているが、同時に両方のタスクのファミリーに対応するために単一の事前学習段階を使用するモデルである統一表現学習者の可能性を探る。 拡散モデルを素数候補として同定する。 拡散モデルは、画像生成、復調、塗装、超解像、操作などの最先端の手法として注目されている。 このようなモデルは、U-Netをトレーニングして、ノイズを反復的に予測し、除去し、結果として得られるモデルは、高忠実で多様な、新しい画像を合成することができる。 u-netアーキテクチャは畳み込みベースのアーキテクチャであり、中間的特徴マップの形で様々な特徴表現を生成する。 本稿では,これらの埋め込みは識別情報を含むため,ノイズ予測タスクを超えて有用であり,分類にも活用できることを示す。 本稿では,イメージネット分類タスクにおいて,これらの埋め込みを最適に抽出し,使用するための手法を検討する。 注意深い特徴選択とプーリングにより、拡散モデルは分類タスクにおけるBigBiGANのような生成的識別手法よりも優れることがわかった。 伝達学習システムにおける拡散モデルについて検討し,いくつかの微粒な視覚分類データセット上での性能について検討した。 これらの組込みと競合するアーキテクチャによって生成された組込みと、分類タスクの事前トレーニングを比較した。

関連論文リスト

• Hierarchical Visual Categories Modeling: A Joint Representation Learning and Density Estimation Framework for Out-of-Distribution Detection [28.442470704073767]
  本稿では,分布外データと分布内データとを分離する階層型視覚カテゴリーモデリング手法を提案する。 我々は、CIFAR、iNaturalist、SUN、Places、Textures、ImageNet-O、OpenImage-Oを含む7つの人気のあるベンチマーク実験を行った。 我々の視覚表現は古典的手法で学習した特徴と比較して競争力がある。
  論文  参考訳（メタデータ） (2024-08-28T07:05:46Z)
• Investigating Self-Supervised Methods for Label-Efficient Learning [27.029542823306866]
  低撮影能力のためのコントラスト学習、クラスタリング、マスク付き画像モデリングなど、さまざまな自己教師付きプレテキストタスクについて検討する。 マスク画像モデリングとクラスタリングの両方をプリテキストタスクとして含むフレームワークを導入する。 実規模データセット上でモデルをテストした場合,マルチクラス分類,マルチラベル分類,セマンティックセマンティックセグメンテーションにおける性能向上を示す。
  論文  参考訳（メタデータ） (2024-06-25T10:56:03Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Do text-free diffusion models learn discriminative visual representations? [39.78043004824034]
  本稿では,タスクの両ファミリーを同時に扱うモデルである統一表現学習者の可能性について検討する。 生成タスクの最先端手法である拡散モデル(拡散モデル)を素数候補として開発する。 拡散モデルはGANよりも優れており、融合とフィードバック機構により、差別的タスクのための最先端の教師なし画像表現学習手法と競合することができる。
  論文  参考訳（メタデータ） (2023-11-29T18:59:59Z)
• Diffusion-TTA: Test-time Adaptation of Discriminative Models via Generative Feedback [97.0874638345205]
  生成モデルは、識別モデルのための優れたテストタイムアダプタになり得る。 提案手法であるDiffusion-TTAは,事前学習した判別モデルを,テストセットの各未学習例に適応させる。 拡散-TTAは,様々な大規模事前学習型判別モデルの精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-27T18:59:53Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
  大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。 分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。 我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
  論文  参考訳（メタデータ） (2023-03-28T17:59:56Z)
• Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models [4.189643331553922]
  半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。 我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
  論文  参考訳（メタデータ） (2021-05-22T05:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。