論文の概要: Exploring Data Efficiency in Zero-Shot Learning with Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.02929v1
• Date: Wed, 5 Jun 2024 04:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:59:32.894869
• Title: Exploring Data Efficiency in Zero-Shot Learning with Diffusion Models
• Title（参考訳）: 拡散モデルを用いたゼロショット学習におけるデータ効率の探索
• Authors: Zihan Ye, Shreyank N. Gowda, Xiaobo Jin, Xiaowei Huang, Haotian Xu, Yaochu Jin, Kaizhu Huang,
• Abstract要約: Zero-Shot Learning (ZSL) は、クラスレベルでのデータ効率を向上させることで、分類器が見えないクラスを識別できるようにすることを目的としている。 これは、未確認クラスの事前に定義されたセマンティクスから画像特徴を生成することで実現される。 本稿では,限られた例が一般的に生成モデルの性能低下をもたらすことを示す。 この統合されたフレームワークは拡散モデルを導入し、クラスレベルとインスタンスレベルのデータ効率を改善する。
• 参考スコア（独自算出の注目度）: 38.36200871549062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-Shot Learning (ZSL) aims to enable classifiers to identify unseen classes by enhancing data efficiency at the class level. This is achieved by generating image features from pre-defined semantics of unseen classes. However, most current approaches heavily depend on the number of samples from seen classes, i.e. they do not consider instance-level effectiveness. In this paper, we demonstrate that limited seen examples generally result in deteriorated performance of generative models. To overcome these challenges, we propose ZeroDiff, a Diffusion-based Generative ZSL model. This unified framework incorporates diffusion models to improve data efficiency at both the class and instance levels. Specifically, for instance-level effectiveness, ZeroDiff utilizes a forward diffusion chain to transform limited data into an expanded set of noised data. For class-level effectiveness, we design a two-branch generation structure that consists of a Diffusion-based Feature Generator (DFG) and a Diffusion-based Representation Generator (DRG). DFG focuses on learning and sampling the distribution of cross-entropy-based features, whilst DRG learns the supervised contrastive-based representation to boost the zero-shot capabilities of DFG. Additionally, we employ three discriminators to evaluate generated features from various aspects and introduce a Wasserstein-distance-based mutual learning loss to transfer knowledge among discriminators, thereby enhancing guidance for generation. Demonstrated through extensive experiments on three popular ZSL benchmarks, our ZeroDiff not only achieves significant improvements over existing ZSL methods but also maintains robust performance even with scarce training data. Code will be released upon acceptance.
• Abstract（参考訳）: Zero-Shot Learning (ZSL) は、クラスレベルでのデータ効率を向上させることで、分類器が見えないクラスを識別できるようにすることを目的としている。 これは、未確認クラスの事前に定義されたセマンティクスから画像特徴を生成することで実現される。 しかし、現在のほとんどのアプローチは、見たクラスのサンプルの数に大きく依存している。 本稿では,限られた例が一般的に生成モデルの性能低下をもたらすことを示す。 これらの課題を克服するために,拡散型ZSLモデルであるZeroDiffを提案する。 この統合されたフレームワークは拡散モデルを導入し、クラスレベルとインスタンスレベルのデータ効率を改善する。 具体的には、例えば、ZeroDiffはフォワード拡散チェーンを使用して、制限されたデータを拡張されたノイズ付きデータに変換する。 クラスレベルの有効性を得るために,拡散型特徴発生器(DFG)と拡散型表現発生器(DRG)からなる2分岐生成構造を設計する。 DFGはクロスエントロピーに基づく特徴分布の学習とサンプリングに重点を置いており、DRGは教師付きコントラストベース表現を学習し、DFGのゼロショット能力を高める。 さらに,様々な側面から生成された特徴を評価するために3つの識別器を使用し,識別器間の知識の伝達にワッサーシュタイン距離に基づく相互学習損失を導入し,生成指導を強化する。 一般的な3つのZSLベンチマークに関する広範な実験を通じて実証されたZeroDiffは、既存のZSLメソッドよりも大幅に改善されているだけでなく、トレーニングデータが少ない場合でも堅牢なパフォーマンスを維持している。 コードは受理時にリリースされる。

関連論文リスト

• CREST: Cross-modal Resonance through Evidential Deep Learning for Enhanced Zero-Shot Learning [48.46511584490582]
  ゼロショット学習(ZSL)は、既知のカテゴリから未知のカテゴリへのセマンティックな知識伝達を活用することで、新しいクラスの認識を可能にする。 分布不均衡や属性共起といった現実世界の課題は、画像の局所的なばらつきの識別を妨げる。 これらの課題を克服するために、双方向のクロスモーダルZSLアプローチCRESTを提案する。
  論文  参考訳（メタデータ） (2024-04-15T10:19:39Z)
• Zero-Shot Learning by Harnessing Adversarial Samples [52.09717785644816]
  本稿では,HAS(Harnessing Adversarial Samples)によるZSL(Zero-Shot Learning)アプローチを提案する。 HASは3つの重要な側面を考慮に入れた敵の訓練を通じてZSLを前進させる。 本稿では,ZSLと一般化ゼロショット学習(GZSL)の両シナリオにおいて,敵対的サンプルアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-01T06:19:13Z)
• Resolving Semantic Confusions for Improved Zero-Shot Detection [6.72910827751713]
  本稿では,クラス間の相違度を認識する三重項損失を考慮した生成モデルを提案する。 クラスの生成した視覚的サンプルが、自身のセマンティクスに高度に対応していることを保証するために、サイクリック一貫性損失も実施される。
  論文  参考訳（メタデータ） (2022-12-12T18:11:48Z)
• Federated Zero-Shot Learning for Visual Recognition [55.65879596326147]
  本稿では,Federated Zero-Shot Learning FedZSLフレームワークを提案する。 FedZSLは、エッジデバイス上の分散データから中心的なモデルを学ぶ。 FedZSLの有効性と堅牢性は、3つのゼロショットベンチマークデータセットで実施された広範な実験によって実証された。
  論文  参考訳（メタデータ） (2022-09-05T14:49:34Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• Zero-Shot Logit Adjustment [89.68803484284408]
  Generalized Zero-Shot Learning (GZSL) は意味記述に基づく学習技術である。 本稿では,分類器の改良を無視しつつ,ジェネレータの効果を高める新しい世代ベース手法を提案する。 実験により,提案手法が基本生成器と組み合わせた場合の最先端化を実現し,様々なゼロショット学習フレームワークを改良できることが実証された。
  論文  参考訳（メタデータ） (2022-04-25T17:54:55Z)
• Disentangling Semantic-to-visual Confusion for Zero-shot Learning [13.610995960100869]
  我々はDCR-GAN(Disentangling Class Representation Generative Adrial Network)と呼ばれる新しいモデルを開発する。 DCR-GANは、歪んだ表現から恩恵を受け、見えない特徴と見えない特徴の両方に対して、より現実的な分布に適合する可能性がある。 提案モデルは,4つのベンチマークデータセット上での最先端モデルよりも優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2021-06-16T08:04:11Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。