論文の概要: Exploring Data Efficiency in Zero-Shot Learning with Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.02929v1
• Date: Wed, 5 Jun 2024 04:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:59:32.894869
• Title: Exploring Data Efficiency in Zero-Shot Learning with Diffusion Models
• Title（参考訳）: 拡散モデルを用いたゼロショット学習におけるデータ効率の探索
• Authors: Zihan Ye, Shreyank N. Gowda, Xiaobo Jin, Xiaowei Huang, Haotian Xu, Yaochu Jin, Kaizhu Huang,
• Abstract要約: Zero-Shot Learning (ZSL) は、クラスレベルでのデータ効率を向上させることで、分類器が見えないクラスを識別できるようにすることを目的としている。 これは、未確認クラスの事前に定義されたセマンティクスから画像特徴を生成することで実現される。 本稿では,限られた例が一般的に生成モデルの性能低下をもたらすことを示す。 この統合されたフレームワークは拡散モデルを導入し、クラスレベルとインスタンスレベルのデータ効率を改善する。
• 参考スコア（独自算出の注目度）: 38.36200871549062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-Shot Learning (ZSL) aims to enable classifiers to identify unseen classes by enhancing data efficiency at the class level. This is achieved by generating image features from pre-defined semantics of unseen classes. However, most current approaches heavily depend on the number of samples from seen classes, i.e. they do not consider instance-level effectiveness. In this paper, we demonstrate that limited seen examples generally result in deteriorated performance of generative models. To overcome these challenges, we propose ZeroDiff, a Diffusion-based Generative ZSL model. This unified framework incorporates diffusion models to improve data efficiency at both the class and instance levels. Specifically, for instance-level effectiveness, ZeroDiff utilizes a forward diffusion chain to transform limited data into an expanded set of noised data. For class-level effectiveness, we design a two-branch generation structure that consists of a Diffusion-based Feature Generator (DFG) and a Diffusion-based Representation Generator (DRG). DFG focuses on learning and sampling the distribution of cross-entropy-based features, whilst DRG learns the supervised contrastive-based representation to boost the zero-shot capabilities of DFG. Additionally, we employ three discriminators to evaluate generated features from various aspects and introduce a Wasserstein-distance-based mutual learning loss to transfer knowledge among discriminators, thereby enhancing guidance for generation. Demonstrated through extensive experiments on three popular ZSL benchmarks, our ZeroDiff not only achieves significant improvements over existing ZSL methods but also maintains robust performance even with scarce training data. Code will be released upon acceptance.
• Abstract（参考訳）: Zero-Shot Learning (ZSL) は、クラスレベルでのデータ効率を向上させることで、分類器が見えないクラスを識別できるようにすることを目的としている。 これは、未確認クラスの事前に定義されたセマンティクスから画像特徴を生成することで実現される。 しかし、現在のほとんどのアプローチは、見たクラスのサンプルの数に大きく依存している。 本稿では,限られた例が一般的に生成モデルの性能低下をもたらすことを示す。 これらの課題を克服するために,拡散型ZSLモデルであるZeroDiffを提案する。 この統合されたフレームワークは拡散モデルを導入し、クラスレベルとインスタンスレベルのデータ効率を改善する。 具体的には、例えば、ZeroDiffはフォワード拡散チェーンを使用して、制限されたデータを拡張されたノイズ付きデータに変換する。 クラスレベルの有効性を得るために,拡散型特徴発生器(DFG)と拡散型表現発生器(DRG)からなる2分岐生成構造を設計する。 DFGはクロスエントロピーに基づく特徴分布の学習とサンプリングに重点を置いており、DRGは教師付きコントラストベース表現を学習し、DFGのゼロショット能力を高める。 さらに,様々な側面から生成された特徴を評価するために3つの識別器を使用し,識別器間の知識の伝達にワッサーシュタイン距離に基づく相互学習損失を導入し,生成指導を強化する。 一般的な3つのZSLベンチマークに関する広範な実験を通じて実証されたZeroDiffは、既存のZSLメソッドよりも大幅に改善されているだけでなく、トレーニングデータが少ない場合でも堅牢なパフォーマンスを維持している。 コードは受理時にリリースされる。

関連論文リスト

• Detail Reinforcement Diffusion Model: Augmentation Fine-Grained Visual Categorization in Few-Shot Conditions [11.121652649243119]
  拡散モデルは、データ生成において顕著な多様性のため、データ拡張において広く採用されている。 詳細強化拡散モデル(DRDM)と呼ばれる新しい手法を提案する。 大規模モデルの豊富な知識を微粒化に活用し、識別的意味的組換え(DSR)と空間的知識参照(SKR)の2つの重要な構成要素を含む。
  論文  参考訳（メタデータ） (2023-09-15T01:28:59Z)
• DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion [2.458437232470188]
  GAN(Generative Adversarial Network)を用いたクラス条件画像生成について,様々な手法を用いて検討した。 本稿では,DuDGANと呼ばれる2次元拡散型ノイズ注入法を取り入れたGANを用いたクラス条件画像生成手法を提案する。 提案手法は,画像生成のための現状条件付きGANモデルよりも性能的に優れている。
  論文  参考訳（メタデータ） (2023-05-24T07:59:44Z)
• FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs [24.18718734850797]
  Data-Efficient GAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としている。 対照的な学習は、DE-GANの合成品質を高める大きな可能性を示している。 偽のサンプルに対してのみ対照的な学習を行うFakeCLRを提案する。
  論文  参考訳（メタデータ） (2022-07-18T14:23:38Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• Augmentation-Aware Self-Supervision for Data-Efficient GAN Training [68.81471633374393]
  識別器が過度に適合する傾向があるため、限られたデータでGANを訓練することは困難である。 本稿では,拡張データの拡張パラメータを予測する,拡張型自己教師型識別器を提案する。 本稿では,クラス条件の BigGAN と非条件の StyleGAN2 アーキテクチャを用いた State-of-the-art (SOTA) 手法と比較する。
  論文  参考訳（メタデータ） (2022-05-31T10:35:55Z)
• Generalized Zero-Shot Learning via VAE-Conditioned Generative Flow [83.27681781274406]
  一般化されたゼロショット学習は、意味的記述から視覚的表現へ知識を移すことによって、目に見えないクラスと見えないクラスの両方を認識することを目的としている。 近年のGZSLはデータ不足問題として定式化されており、主にGANやVAEを採用して、目に見えないクラスの視覚的特徴を生成する。 GZSLのための条件付き生成フロー,すなわちVAE-Conditioned Generative Flow (VAE-cFlow)を提案する。
  論文  参考訳（メタデータ） (2020-09-01T09:12:31Z)
• Generative Model-driven Structure Aligning Discriminative Embeddings for Transductive Zero-shot Learning [21.181715602603436]
  本稿では、潜在空間における視覚的および意味的なデータを整列する投影関数を学習するためのニューラルネットワークに基づくモデルを提案する。 AWA1, AWA2, CUB, SUN, FLOなどの標準ベンチマークデータセットにおいて, 優れた性能を示す。 また,ラベル付きデータ構造が極めて少ない場合においても,モデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-05-09T18:48:20Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。