論文の概要: Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations

• arxiv url: http://arxiv.org/abs/2207.03824v3
• Date: Tue, 18 Jul 2023 06:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 19:46:42.395589
• Title: Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations
• Title（参考訳）: 属性表現のコントラスト最適化によるゼロショット学習の促進
• Authors: Yu Du, Miaojing Shi, Fangyun Wei, Guoqi Li
• Abstract要約: 画像以外の属性のプロトタイプを明示的に学習することでZSL(Zero-shot Learning)を強化する新しいフレームワークを提案する。 プロトタイプ生成モジュールは属性セマンティクスから属性プロトタイプを生成するように設計されている。 ハードな例に基づくコントラスト最適化スキームを導入し、埋め込み空間における属性レベルの特徴を補強する。
• 参考スコア（独自算出の注目度）: 28.46906100680767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot learning (ZSL) aims to recognize classes that do not have samples in the training set. One representative solution is to directly learn an embedding function associating visual features with corresponding class semantics for recognizing new classes. Many methods extend upon this solution, and recent ones are especially keen on extracting rich features from images, e.g. attribute features. These attribute features are normally extracted within each individual image; however, the common traits for features across images yet belonging to the same attribute are not emphasized. In this paper, we propose a new framework to boost ZSL by explicitly learning attribute prototypes beyond images and contrastively optimizing them with attribute-level features within images. Besides the novel architecture, two elements are highlighted for attribute representations: a new prototype generation module is designed to generate attribute prototypes from attribute semantics; a hard example-based contrastive optimization scheme is introduced to reinforce attribute-level features in the embedding space. We explore two alternative backbones, CNN-based and transformer-based, to build our framework and conduct experiments on three standard benchmarks, CUB, SUN, AwA2. Results on these benchmarks demonstrate that our method improves the state of the art by a considerable margin. Our codes will be available at https://github.com/dyabel/CoAR-ZSL.git
• Abstract（参考訳）: Zero-shot Learning (ZSL) は、トレーニングセットにサンプルを持たないクラスを認識することを目的としている。 代表的なソリューションの1つは、視覚特徴と対応するクラスセマンティクスを関連付けて、新しいクラスを認識する埋め込み関数を直接学習することである。 このソリューションには多くの方法が拡張されており、最近のものは特に属性機能のような画像からリッチな特徴を抽出することに熱心である。 これらの属性特徴は通常、個々の画像内で抽出されるが、同じ属性に属する画像にまたがる特徴の共通特性は強調されない。 本稿では,画像以外の属性のプロトタイプを明示的に学習し,画像内の属性レベルの特徴を対照的に最適化することにより,ZSLを向上する新たなフレームワークを提案する。 新しいプロトタイプ生成モジュールは属性セマンティクスから属性プロトタイプを生成するように設計され、ハードな例ベースのコントラスト最適化スキームは、埋め込み空間における属性レベル機能を強化するために導入された。 フレームワークの構築と,CUB,SUN,AwA2という3つの標準ベンチマークの実験を行うために,CNNベースとTransformerベースの2つのバックボーンについて検討する。 これらのベンチマークの結果から,本手法は芸術の状態をかなり改善することが示された。 私たちのコードはhttps://github.com/dyabel/CoAR-ZSL.gitで公開されます。

関連論文リスト

• Dual Feature Augmentation Network for Generalized Zero-shot Learning [14.410978100610489]
  ゼロショット学習 (ZSL) は,見知らぬクラスから知識を伝達することによって,サンプルを訓練せずに新しいクラスを推論することを目的としている。 ZSLの既存の埋め込みベースのアプローチは、画像上の属性を見つけるために注意機構を用いるのが一般的である。 本稿では,2つの機能拡張モジュールからなる新しいDual Feature Augmentation Network (DFAN)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T02:37:52Z)
• Hierarchical Visual Primitive Experts for Compositional Zero-Shot Learning [52.506434446439776]
  合成ゼロショット学習(CZSL)は、既知のプリミティブ(属性とオブジェクト)の事前知識で構成を認識することを目的としている。 このような問題に対処するために,コンポジショントランスフォーマー(CoT)と呼ばれるシンプルでスケーラブルなフレームワークを提案する。 提案手法は,MIT-States,C-GQA,VAW-CZSLなど,いくつかのベンチマークでSoTA性能を実現する。
  論文  参考訳（メタデータ） (2023-08-08T03:24:21Z)
• Learning Conditional Attributes for Compositional Zero-Shot Learning [78.24309446833398]
  合成ゼロショット学習(CZSL)は、新しい合成概念を認識するためにモデルを訓練することを目的としている。 課題の1つは、異なる物体、例えば「濡れたリンゴ」と「濡れた猫」の属性をモデル化することである。 我々は、属性が認識対象と入力画像に条件付けされていることを議論し、条件付き属性の埋め込みを学習する。
  論文  参考訳（メタデータ） (2023-05-29T08:04:05Z)
• Attribute Prototype Network for Any-Shot Learning [113.50220968583353]
  属性ローカライズ機能を統合した画像表現は、任意のショット、すなわちゼロショットと少数ショットのイメージ分類タスクに有用である、と我々は主張する。 クラスレベルの属性のみを用いてグローバルな特徴とローカルな特徴を共同で学習する新しい表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-04T02:25:40Z)
• Boosting Generative Zero-Shot Learning by Synthesizing Diverse Features with Attribute Augmentation [21.72622601533585]
  多様な特徴を合成してゼロショット学習(ZSL)を促進する新しいフレームワークを提案する。 本手法は,視覚特徴の実際の分布をシミュレートするために,拡張意味属性を用いて生成モデルを訓練する。 提案したモデルを4つのベンチマークデータセット上で評価し,現状に対する大幅な性能改善を観察した。
  論文  参考訳（メタデータ） (2021-12-23T14:32:51Z)
• Shaping Visual Representations with Attributes for Few-Shot Learning [5.861206243996454]
  少ないショット認識は、低データ体制下での新規カテゴリの認識を目的としている。 近年,メートル法に基づく数ショット学習法は有望な性能を達成している。 本稿では,属性型学習(ASL)を提案する。
  論文  参考訳（メタデータ） (2021-12-13T03:16:19Z)
• Isometric Propagation Network for Generalized Zero-shot Learning [72.02404519815663]
  一般的な戦略は、クラス属性の意味空間と、見たクラスとそのデータに基づいて画像の視覚空間とのマッピングを学ぶことである。 本稿では,各空間内のクラス間の関係を強化し,2つの空間におけるクラス依存性を整合させるIsometric propagation Network (IPN)を提案する。 IPNは3つの人気のあるゼロショット学習ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-02-03T12:45:38Z)
• Attribute Propagation Network for Graph Zero-shot Learning [57.68486382473194]
  属性伝達ネットワーク (APNet) を導入し, 1) クラス毎に属性ベクトルを生成するグラフ伝搬モデルと, 2) パラメータ化隣人 (NN) 分類器から構成する。 APNetは、2つのゼロショット学習設定と5つのベンチマークデータセットによる実験で、魅力的なパフォーマンスまたは新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-24T16:53:40Z)
• Attribute Prototype Network for Zero-Shot Learning [113.50220968583353]
  差別的グローバルな特徴と局所的な特徴を共同で学習するゼロショット表現学習フレームワークを提案する。 本モデルでは,画像中の属性の視覚的証拠を指摘し,画像表現の属性ローカライゼーション能力の向上を確認した。
  論文  参考訳（メタデータ） (2020-08-19T06:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。