論文の概要: Isometric Propagation Network for Generalized Zero-shot Learning
- arxiv url: http://arxiv.org/abs/2102.02038v1
- Date: Wed, 3 Feb 2021 12:45:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-04 17:44:29.950816
- Title: Isometric Propagation Network for Generalized Zero-shot Learning
- Title（参考訳）: 一般化ゼロショット学習のための等尺伝播ネットワーク
- Authors: Lu Liu, Tianyi Zhou, Guodong Long, Jing Jiang, Xuanyi Dong, Chengqi
Zhang
- Abstract要約: 一般的な戦略は、クラス属性の意味空間と、見たクラスとそのデータに基づいて画像の視覚空間とのマッピングを学ぶことである。
本稿では,各空間内のクラス間の関係を強化し,2つの空間におけるクラス依存性を整合させるIsometric propagation Network (IPN)を提案する。
IPNは3つの人気のあるゼロショット学習ベンチマークで最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 72.02404519815663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-shot learning (ZSL) aims to classify images of an unseen class only
based on a few attributes describing that class but no access to any training
sample. A popular strategy is to learn a mapping between the semantic space of
class attributes and the visual space of images based on the seen classes and
their data. Thus, an unseen class image can be ideally mapped to its
corresponding class attributes. The key challenge is how to align the
representations in the two spaces. For most ZSL settings, the attributes for
each seen/unseen class are only represented by a vector while the seen-class
data provide much more information. Thus, the imbalanced supervision from the
semantic and the visual space can make the learned mapping easily overfitting
to the seen classes. To resolve this problem, we propose Isometric Propagation
Network (IPN), which learns to strengthen the relation between classes within
each space and align the class dependency in the two spaces. Specifically, IPN
learns to propagate the class representations on an auto-generated graph within
each space. In contrast to only aligning the resulted static representation, we
regularize the two dynamic propagation procedures to be isometric in terms of
the two graphs' edge weights per step by minimizing a consistency loss between
them. IPN achieves state-of-the-art performance on three popular ZSL
benchmarks. To evaluate the generalization capability of IPN, we further build
two larger benchmarks with more diverse unseen classes and demonstrate the
advantages of IPN on them.
- Abstract（参考訳）: Zero-shot Learning (ZSL) は、クラスを記述するいくつかの属性に基づいてのみ、未確認クラスのイメージを分類することを目的としている。
一般的な戦略は、見たクラスとそのデータに基づいて、クラス属性の意味空間とイメージの視覚空間の間のマッピングを学ぶことである。
したがって、見当たらないクラスイメージは、その対応するクラス属性に理想的にマッピングできる。
主な課題は、2つの空間で表現をどのように整列させるかです。
ほとんどのzsl設定では、各 see/unseen クラスの属性はベクターでのみ表現され、seet-class データはより多くの情報を提供する。
したがって、セマンティクスと視覚空間からの不均衡な監督は、学習されたマッピングを見掛けたクラスに簡単にオーバーフィットさせることができる。
この問題を解決するために,各空間内のクラス間の関係を強化し,2つの空間におけるクラス依存性を整合させるIsometric Propagation Network (IPN)を提案する。
具体的には、IPNは各空間内の自動生成グラフ上のクラス表現を伝搬することを学ぶ。
結果の静的表現のみを整合させるのとは対照的に,2つの動的伝播手順を1ステップあたりの2つのグラフのエッジ重みから等性的に定式化し,それらの間の一貫性損失を最小化する。
IPNは3つの人気のあるZSLベンチマークで最先端のパフォーマンスを達成する。
IPNの一般化能力を評価するために、より多様な未確認クラスを持つ2つの大きなベンチマークを構築し、IPNの利点を実証する。
関連論文リスト
- Deep Semantic-Visual Alignment for Zero-Shot Remote Sensing Image Scene
Classification [26.340737217001497]
ゼロショット学習(ZSL)は、トレーニング中に見えない新しいクラスを識別する。
以前のZSLモデルは、主に言語モデルから抽出された手作業でラベル付けされた属性や単語の埋め込みに依存し、見受けられるクラスから新しいクラスに知識を伝達する。
本稿では,視覚的に検出可能な属性を自動的に収集することを提案する。属性と画像のセマンティック・視覚的類似性を記述することで,クラスごとの属性を予測する。
論文 参考訳（メタデータ） (2024-02-03T09:18:49Z) - Dual Feature Augmentation Network for Generalized Zero-shot Learning [14.410978100610489]
ゼロショット学習 (ZSL) は,見知らぬクラスから知識を伝達することによって,サンプルを訓練せずに新しいクラスを推論することを目的としている。
ZSLの既存の埋め込みベースのアプローチは、画像上の属性を見つけるために注意機構を用いるのが一般的である。
本稿では,2つの機能拡張モジュールからなる新しいDual Feature Augmentation Network (DFAN)を提案する。
論文 参考訳（メタデータ） (2023-09-25T02:37:52Z) - Text Descriptions are Compressive and Invariant Representations for
Visual Learning [63.3464863723631]
本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。
特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。
このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
論文 参考訳（メタデータ） (2023-07-10T03:06:45Z) - Discriminative Region-based Multi-Label Zero-Shot Learning [145.0952336375342]
マルチラベルゼロショット学習(Multi-label zero-shot Learning、ZSL)は、標準のシングルラベルZSLのより現実的な対位法である。
本稿では,地域別識別可能性保存型ZSLに対する代替アプローチを提案する。
論文 参考訳（メタデータ） (2021-08-20T17:56:47Z) - A Simple Approach for Zero-Shot Learning based on Triplet Distribution
Embeddings [6.193231258199234]
ZSLは、セマンティック情報を利用して、ラベル付きトレーニングデータを使わずに、目に見えないクラスを認識することを目指している。
既存のZSL法は主にベクトルを用いて意味空間への埋め込みを表現する。
分散埋め込みの利用を利用してこの問題に対処する。
論文 参考訳（メタデータ） (2021-03-29T20:26:20Z) - Seed the Views: Hierarchical Semantic Alignment for Contrastive
Representation Learning [116.91819311885166]
一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。
提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
論文 参考訳（メタデータ） (2020-12-04T17:26:24Z) - Attribute Propagation Network for Graph Zero-shot Learning [57.68486382473194]
属性伝達ネットワーク (APNet) を導入し, 1) クラス毎に属性ベクトルを生成するグラフ伝搬モデルと, 2) パラメータ化隣人 (NN) 分類器から構成する。
APNetは、2つのゼロショット学習設定と5つのベンチマークデータセットによる実験で、魅力的なパフォーマンスまたは新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2020-09-24T16:53:40Z) - Information Bottleneck Constrained Latent Bidirectional Embedding for
Zero-Shot Learning [59.58381904522967]
本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。
視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。
本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
論文 参考訳（メタデータ） (2020-09-16T03:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。