論文の概要: Data-Free Generalized Zero-Shot Learning
- arxiv url: http://arxiv.org/abs/2401.15657v1
- Date: Sun, 28 Jan 2024 13:26:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 17:03:14.484982
- Title: Data-Free Generalized Zero-Shot Learning
- Title（参考訳）: データフリー一般化ゼロショット学習
- Authors: Bowen Tang, Long Yan, Jing Zhang, Qian Yu, Lu Sheng, Dong Xu
- Abstract要約: データフリーゼロショット学習(DFZSL)のための汎用フレームワークを提案する。
我々のフレームワークは、一般化ZSLの5つの一般的なベンチマークと、ベース・ツー・ニューZSLの11のベンチマークで評価されている。
- 参考スコア（独自算出の注目度）: 45.86614536578522
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Deep learning models have the ability to extract rich knowledge from
large-scale datasets. However, the sharing of data has become increasingly
challenging due to concerns regarding data copyright and privacy. Consequently,
this hampers the effective transfer of knowledge from existing data to novel
downstream tasks and concepts. Zero-shot learning (ZSL) approaches aim to
recognize new classes by transferring semantic knowledge learned from base
classes. However, traditional generative ZSL methods often require access to
real images from base classes and rely on manually annotated attributes, which
presents challenges in terms of data restrictions and model scalability. To
this end, this paper tackles a challenging and practical problem dubbed as
data-free zero-shot learning (DFZSL), where only the CLIP-based base classes
data pre-trained classifier is available for zero-shot classification.
Specifically, we propose a generic framework for DFZSL, which consists of three
main components. Firstly, to recover the virtual features of the base data, we
model the CLIP features of base class images as samples from a von Mises-Fisher
(vMF) distribution based on the pre-trained classifier. Secondly, we leverage
the text features of CLIP as low-cost semantic information and propose a
feature-language prompt tuning (FLPT) method to further align the virtual image
features and textual features. Thirdly, we train a conditional generative model
using the well-aligned virtual image features and corresponding semantic text
features, enabling the generation of new classes features and achieve better
zero-shot generalization. Our framework has been evaluated on five commonly
used benchmarks for generalized ZSL, as well as 11 benchmarks for the
base-to-new ZSL. The results demonstrate the superiority and effectiveness of
our approach. Our code is available in https://github.com/ylong4/DFZSL
- Abstract（参考訳）: ディープラーニングモデルには、大規模なデータセットから豊富な知識を抽出する能力がある。
しかし、データの著作権とプライバシーに関する懸念から、データの共有がますます困難になっている。
これにより、既存のデータから新しい下流タスクや概念への知識の効果的な移行が妨げられる。
ゼロショット学習(ZSL)アプローチは、ベースクラスから学んだ意味知識を伝達することで、新しいクラスを認識することを目的としている。
しかし、伝統的な生成型zslメソッドは、しばしばベースクラスからの実際のイメージへのアクセスを必要とし、手動で注釈付き属性に依存する。
そこで本論文では,データフリーゼロショット学習(DFZSL)と呼ばれる,CLIPベースのベースクラスデータのみをゼロショット分類に使用可能な,困難かつ実用的な問題に対処する。
具体的には,DFZSLの3つの主要コンポーネントからなる汎用フレームワークを提案する。
まず,ベースデータの仮想特徴を復元するために,事前学習した分類器に基づいて,von mises-fisher (vmf) 分布からベースクラス画像のクリップ特徴をサンプルとしてモデル化する。
次に,CLIPのテキスト特徴を低コストなセマンティック情報として活用し,仮想画像特徴とテキスト特徴をさらに整合させる機能言語プロンプトチューニング(FLPT)手法を提案する。
第3に、よく整合した仮想画像特徴とそれに対応する意味テキスト特徴を用いて条件付き生成モデルを訓練し、新しいクラス特徴の生成を可能にし、ゼロショットの一般化を向上する。
我々のフレームワークは、一般化ZSLの5つの一般的なベンチマークと、ベースツーニューZSLの11のベンチマークで評価されている。
その結果,本手法の優位性と有効性を示した。
私たちのコードはhttps://github.com/ylong4/DFZSLで利用可能です。
関連論文リスト
- Knowledge Adaptation Network for Few-Shot Class-Incremental Learning [23.90555521006653]
クラス増分学習(class-incremental learning)は、いくつかのサンプルを使用して、新しいクラスを段階的に認識することを目的としている。
この問題を解決する効果的な方法の1つは、原型進化分類器を構築することである。
新しいクラスの表現は弱で偏りがあるので、そのような戦略は準最適であると主張する。
論文 参考訳（メタデータ） (2024-09-18T07:51:38Z) - Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。
新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。
新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
論文 参考訳（メタデータ） (2024-01-03T07:59:17Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-24T17:56:46Z) - Prompting Language-Informed Distribution for Compositional Zero-Shot Learning [73.49852821602057]
合成ゼロショット学習(CZSL)タスクは、目に見えない合成視覚概念を認識することを目的としている。
本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。
MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
論文 参考訳（メタデータ） (2023-05-23T18:00:22Z) - FREE: Feature Refinement for Generalized Zero-Shot Learning [86.41074134041394]
汎用ゼロショット学習(GZSL)は、視覚-意味的領域ギャップと目に見えないバイアスの問題を克服するために多くの努力を払って、大きな進歩を遂げた。
既存のほとんどのメソッドはImageNetでトレーニングされた機能抽出モデルを直接使用しており、ImageNetとGZSLベンチマークのデータセット間のバイアスを無視している。
本稿では,この問題に対処するために,汎用ゼロショット学習(FREE)のための特徴改善という,シンプルで効果的なGZSL法を提案する。
論文 参考訳（メタデータ） (2021-07-29T08:11:01Z) - Attribute-Modulated Generative Meta Learning for Zero-Shot
Classification [52.64680991682722]
ゼロショット学習のためのAttribute-Modulated GenerAtive Meta-modelを提案する。
本モデルは属性対応変調ネットワークと属性対応生成ネットワークから構成される。
実験により,AMAZはZSLで3.8%,ZSLで5.1%改善し,ZSL設定を一般化した。
論文 参考訳（メタデータ） (2021-04-22T04:16:43Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - A Simple Approach for Zero-Shot Learning based on Triplet Distribution
Embeddings [6.193231258199234]
ZSLは、セマンティック情報を利用して、ラベル付きトレーニングデータを使わずに、目に見えないクラスを認識することを目指している。
既存のZSL法は主にベクトルを用いて意味空間への埋め込みを表現する。
分散埋め込みの利用を利用してこの問題に対処する。
論文 参考訳（メタデータ） (2021-03-29T20:26:20Z) - OntoZSL: Ontology-enhanced Zero-shot Learning [19.87808305218359]
Zero-shot Learning(ZSL)の実装の鍵は、クラス間の意味的な関係を構築するクラスの以前の知識を活用することです。
本稿では,zslのクラス間関係をモデル化するために,より豊かで競争力の高い事前知識を探索する。
目に見えないクラス間のデータ不均衡に対処するため,GAN(Generative Adversarial Networks)を用いた生成型ZSLフレームワークを開発した。
論文 参考訳（メタデータ） (2021-02-15T04:39:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。