論文の概要: Learning Prototype via Placeholder for Zero-shot Recognition

• arxiv url: http://arxiv.org/abs/2207.14581v1
• Date: Fri, 29 Jul 2022 09:56:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-01 12:54:47.481067
• Title: Learning Prototype via Placeholder for Zero-shot Recognition
• Title（参考訳）: ゼロショット認識のためのプレースホルダーによるプロトタイプ学習
• Authors: Zaiquan Yang, Yang Liu, Wenjia Xu, Chong Huang, Lei Zhou, Chao Tong
• Abstract要約: 我々は,LPLと呼ばれるプレースホルダーを通じてプロトタイプを学習し,目に見えるクラスと目に見えないクラスのドメインシフトを排除することを提案する。 我々は、プレースホルダーのセマンティックな信頼性を保証するために、新しいセマンティック指向の微調整を利用する。 5つのベンチマークデータセットの実験では、最先端の手法よりもLPLの大幅なパフォーマンス向上が示されている。
• 参考スコア（独自算出の注目度）: 18.204927316433448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot learning (ZSL) aims to recognize unseen classes by exploiting semantic descriptions shared between seen classes and unseen classes. Current methods show that it is effective to learn visual-semantic alignment by projecting semantic embeddings into the visual space as class prototypes. However, such a projection function is only concerned with seen classes. When applied to unseen classes, the prototypes often perform suboptimally due to domain shift. In this paper, we propose to learn prototypes via placeholders, termed LPL, to eliminate the domain shift between seen and unseen classes. Specifically, we combine seen classes to hallucinate new classes which play as placeholders of the unseen classes in the visual and semantic space. Placed between seen classes, the placeholders encourage prototypes of seen classes to be highly dispersed. And more space is spared for the insertion of well-separated unseen ones. Empirically, well-separated prototypes help counteract visual-semantic misalignment caused by domain shift. Furthermore, we exploit a novel semantic-oriented fine-tuning to guarantee the semantic reliability of placeholders. Extensive experiments on five benchmark datasets demonstrate the significant performance gain of LPL over the state-of-the-art methods. Code is available at https://github.com/zaiquanyang/LPL.
• Abstract（参考訳）: Zero-shot Learning (ZSL) は、目に見えないクラスと見えないクラス間で共有されるセマンティック記述を活用することで、目に見えないクラスを認識することを目的としている。 現在の手法では,クラスプロトタイプとして視覚空間にセマンティック埋め込みを投影することにより,視覚的セマンティックアライメントの学習が効果的であることを示す。 しかし、そのような射影関数は、見たクラスのみに関係している。 unseenクラスに適用される場合、プロトタイプはドメインシフトによってサブオプティマイズされることが多い。 本稿では,視認クラスと視認クラス間のドメインシフトを解消するために,lplと呼ばれるプレースホルダを通じてプロトタイプを学ぶことを提案する。 具体的には、視覚的および意味的な空間において、目に見えないクラスのプレースホルダーとして機能する新しいクラスを幻覚させる。 視認クラスの間に配置されたプレースホルダは、視認クラスのプロトタイプを高度に分散させることを奨励する。 そして、よく区切られた見えないものを挿入するために、より多くのスペースが確保される。 実証的に、よく区分けされたプロトタイプは、ドメインシフトによって引き起こされる視覚的意味的ミスアライメントに対抗するのに役立ちます。 さらに,新しいセマンティクス指向の微調整を活用し,プレースホルダの意味的信頼性を保証する。 5つのベンチマークデータセットに関する広範囲な実験は、最先端のメソッドに対するlplのパフォーマンス向上を示している。 コードはhttps://github.com/zaiquanyang/LPLで入手できる。

関連論文リスト

• Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
  本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。 クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。 我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-13T11:23:55Z)
• Hunting Attributes: Context Prototype-Aware Learning for Weakly Supervised Semantic Segmentation [22.591512454923883]
  我々は、インスタンスとコンテキスト間の知識バイアスが、インスタンスのセマンティクスを十分に理解するプロトタイプの能力に影響を与えると主張している。 プロトタイプ学習理論に触発された本研究では,インスタンスの多種多様かつきめ細かな特徴を捉えるために,プロトタイプ認識を活用することを提案する。 本稿では,コンテキスト型認識学習(CPAL:Context Prototype-Aware Learning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T13:11:58Z)
• Learning Semantic Ambiguities for Zero-Shot Learning [0.0]
  本稿では,任意の条件生成型ZSL法に適用可能な正規化手法を提案する。 トレーニング時に利用できない意味記述が可能な差別的特徴を合成することを学ぶ。 この手法は、文献でよく用いられる4つのデータセット上で、ZSLとGZSLに対して評価される。
  論文  参考訳（メタデータ） (2022-01-05T21:08:29Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• SEGA: Semantic Guided Attention on Visual Prototype for Few-Shot Learning [85.2093650907943]
  機械に新しいカテゴリーを認識させるためのセマンティックガイド注意(SEGA)を提案する。 SEGAは意味的知識を使用して、視覚的特徴に注意を払うべきものについて、トップダウンの方法で視覚的知覚を導く。 セマンティックガイドによる注意は期待された機能を実現し、最先端の結果より優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-08T08:03:44Z)
• Rich Semantics Improve Few-shot Learning [49.11659525563236]
  アノテーションコストを最小限に抑えながら取得できる「クラスレベル」言語記述を用いることで、少ない学習性能を向上できることを示す。 我々は,視覚トークンと意味トークンを関連付けるための前方および後方エンコーディング機構を開発した。
  論文  参考訳（メタデータ） (2021-04-26T16:48:27Z)
• Learning Robust Visual-semantic Mapping for Zero-shot Learning [8.299945169799795]
  ZSL(Zero-shot Learning)の重要な構成要素の1つである意味的特徴空間の完全強化に注力する。 ZSLでは、視覚的特徴空間と意味的特徴空間の間のマッピング関数をラベル付きクラス例でトレーニングするのが一般的である。 このようなパラダイムでは、ZSLモデルはマッピング関数を構築および再利用する際にドメインシフトの問題に容易に苦しむ可能性がある。
  論文  参考訳（メタデータ） (2021-04-12T17:39:38Z)
• Isometric Propagation Network for Generalized Zero-shot Learning [72.02404519815663]
  一般的な戦略は、クラス属性の意味空間と、見たクラスとそのデータに基づいて画像の視覚空間とのマッピングを学ぶことである。 本稿では,各空間内のクラス間の関係を強化し,2つの空間におけるクラス依存性を整合させるIsometric propagation Network (IPN)を提案する。 IPNは3つの人気のあるゼロショット学習ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-02-03T12:45:38Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)
• A Novel Perspective to Zero-shot Learning: Towards an Alignment of Manifold Structures via Semantic Feature Expansion [17.48923061278128]
  ゼロショット学習の一般的な実践は、視覚的特徴空間と意味的特徴空間の間の投影をラベル付きクラス例で訓練することである。 このようなパラダイムの下では、既存のほとんどのメソッドは容易にドメインシフトの問題に悩まされ、ゼロショット認識の性能が低下する。 本稿では, 意味的特徴拡張による多様体構造のアライメントを考慮した AMS-SFE という新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。