論文の概要: Dual Progressive Prototype Network for Generalized Zero-Shot Learning
- arxiv url: http://arxiv.org/abs/2111.02073v1
- Date: Wed, 3 Nov 2021 08:43:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-04 13:48:14.850183
- Title: Dual Progressive Prototype Network for Generalized Zero-Shot Learning
- Title(参考訳): 一般化ゼロショット学習のためのデュアルプロトタイプネットワーク
- Authors: Chaoqun Wang, Shaobo Min, Xuejin Chen, Xiaoyan Sun, Houqiang Li
- Abstract要約: Generalized Zero-Shot Learning (GZSL) は、セカンダリなセマンティック情報、例えばカテゴリ属性を持つ新しいカテゴリを認識することを目的としている。
我々のアプローチはDPPN(Dual Progressive Prototype Network)と呼ばれ、属性やカテゴリの視覚パターンを記録する2種類のプロトタイプを構築している。
4つのベンチマークの実験により、DPPNはGZSLの領域シフト問題を効果的に軽減することが示された。
- 参考スコア(独自算出の注目度): 77.0715029826957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalized Zero-Shot Learning (GZSL) aims to recognize new categories with
auxiliary semantic information,e.g., category attributes. In this paper, we
handle the critical issue of domain shift problem, i.e., confusion between seen
and unseen categories, by progressively improving cross-domain transferability
and category discriminability of visual representations. Our approach, named
Dual Progressive Prototype Network (DPPN), constructs two types of prototypes
that record prototypical visual patterns for attributes and categories,
respectively. With attribute prototypes, DPPN alternately searches
attribute-related local regions and updates corresponding attribute prototypes
to progressively explore accurate attribute-region correspondence. This enables
DPPN to produce visual representations with accurate attribute localization
ability, which benefits the semantic-visual alignment and representation
transferability. Besides, along with progressive attribute localization, DPPN
further projects category prototypes into multiple spaces to progressively
repel visual representations from different categories, which boosts category
discriminability. Both attribute and category prototypes are collaboratively
learned in a unified framework, which makes visual representations of DPPN
transferable and distinctive. Experiments on four benchmarks prove that DPPN
effectively alleviates the domain shift problem in GZSL.
- Abstract(参考訳): Generalized Zero-Shot Learning (GZSL) は、カテゴリ属性などの補助的な意味情報を持つ新しいカテゴリを認識することを目的としている。
本稿では,視覚表現の領域間移動可能性やカテゴリ識別性の向上により,目に見えるカテゴリと見えないカテゴリの混同という,ドメインシフトの問題に対処する。
提案手法はDPPN (Dual Progressive Prototype Network) と呼ばれ, 属性とカテゴリの視覚パターンをそれぞれ記録する2種類のプロトタイプを構築した。
属性プロトタイプでは、dppnは属性関連地域を交互に検索し、属性プロトタイプを更新して属性-地域対応を段階的に調査する。
これによってdppnは、正確な属性ローカライゼーション能力を持つ視覚的表現を作成でき、セマンティック・ビジュアルアライメントと表現転送可能性の恩恵を受ける。
さらに、プログレッシブ属性のローカライゼーションとともに、DPPNはプロトタイプを複数の空間に計画し、異なるカテゴリから視覚表現を段階的に取り除き、カテゴリ識別性を高める。
属性とカテゴリのプロトタイプは、dppnの視覚的表現を転送可能かつ識別可能な統一フレームワークで協調的に学習される。
4つのベンチマークの実験により、DPPNはGZSLの領域シフト問題を効果的に軽減することが示された。
関連論文リスト
- Dual Relation Mining Network for Zero-Shot Learning [48.89161627050706]
本稿では,効果的な視覚・意味的相互作用を実現し,知識伝達のための属性間の意味的関係を学習するためのDual Relation Mining Network(DRMN)を提案する。
具体的には,多層的特徴融合により視覚情報を強化する視覚・意味的関係マイニングのためのデュアルアテンションブロック(DAB)を提案する。
セマンティック・インタラクション・トランスフォーマ(SIT)を用いて画像間の属性表現の一般化を促進する。
論文 参考訳(メタデータ) (2024-05-06T16:31:19Z) - `Eyes of a Hawk and Ears of a Fox': Part Prototype Network for Generalized Zero-Shot Learning [47.1040786932317]
一般化ゼロショット学習(GZSL)における現在のアプローチは、画像全体に対する単一のクラス属性ベクトル表現のみを考慮したベースモデル上に構築されている。
属性情報に敏感なVINVL(Pre-trained Vision-Language Detector)を用いて,地域特性を効率的に取得する。
学習された関数は、その領域の特徴を、クラス部分プロトタイプを構築するために使われる地域固有の属性アテンションにマップする。
論文 参考訳(メタデータ) (2024-04-12T18:37:00Z) - Dual Feature Augmentation Network for Generalized Zero-shot Learning [14.410978100610489]
ゼロショット学習 (ZSL) は,見知らぬクラスから知識を伝達することによって,サンプルを訓練せずに新しいクラスを推論することを目的としている。
ZSLの既存の埋め込みベースのアプローチは、画像上の属性を見つけるために注意機構を用いるのが一般的である。
本稿では,2つの機能拡張モジュールからなる新しいDual Feature Augmentation Network (DFAN)を提案する。
論文 参考訳(メタデータ) (2023-09-25T02:37:52Z) - Progressive Semantic-Visual Mutual Adaption for Generalized Zero-Shot
Learning [74.48337375174297]
一般化ゼロショット学習(GZSL)は、目に見えない領域から移行した知識によって、見えないカテゴリを特定する。
プロトタイプと視覚特徴の対応性を段階的にモデル化するために,デュアルセマンティック・ビジュアル・トランスフォーマーモジュール(DSVTM)をデプロイする。
DSVTMは、インスタンス中心のプロトタイプを学習して異なる画像に適応させる、インスタンス駆動セマンティックエンコーダを考案した。
論文 参考訳(メタデータ) (2023-03-27T15:21:43Z) - Dual Prototypical Contrastive Learning for Few-shot Semantic
Segmentation [55.339405417090084]
本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。
第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。
提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-09T08:14:50Z) - Isometric Propagation Network for Generalized Zero-shot Learning [72.02404519815663]
一般的な戦略は、クラス属性の意味空間と、見たクラスとそのデータに基づいて画像の視覚空間とのマッピングを学ぶことである。
本稿では,各空間内のクラス間の関係を強化し,2つの空間におけるクラス依存性を整合させるIsometric propagation Network (IPN)を提案する。
IPNは3つの人気のあるゼロショット学習ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2021-02-03T12:45:38Z) - Cross-domain Detection via Graph-induced Prototype Alignment [114.8952035552862]
カテゴリレベルのドメインアライメントを求めるグラフ誘発プロトタイプアライメント(GPA)フレームワークを提案する。
さらに,クラス不均衡がドメイン適応に与える影響を軽減するために,クラス重み付きコントラスト損失を設計する。
我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
論文 参考訳(メタデータ) (2020-03-28T17:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。