論文の概要: Evolving Semantic Prototype Improves Generative Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2306.06931v1
• Date: Mon, 12 Jun 2023 08:11:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 15:41:08.996563
• Title: Evolving Semantic Prototype Improves Generative Zero-Shot Learning
• Title（参考訳）: 生成的ゼロショット学習を改善するsemantic prototype
• Authors: Shiming Chen, Wenjin Hou, Ziming Hong, Xiaohan Ding, Yibing Song, Xinge You, Tongliang Liu, Kun Zhang
• Abstract要約: ゼロショット学習(ZSL)では、生成法は事前に定義されたセマンティックプロトタイプに基づいてクラス関連サンプル特徴を合成する。 各クラスの事前定義されたセマンティックプロトタイプは、実際のセマンティックプロトタイプと正確に一致しない。 本稿では,経験的に定義された意味的プロトタイプと,クラス関連特徴合成のための実際のプロトタイプを整合させる動的意味的プロトタイプ(DSP)法を提案する。
• 参考スコア（独自算出の注目度）: 73.07035277030573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In zero-shot learning (ZSL), generative methods synthesize class-related sample features based on predefined semantic prototypes. They advance the ZSL performance by synthesizing unseen class sample features for better training the classifier. We observe that each class's predefined semantic prototype (also referred to as semantic embedding or condition) does not accurately match its real semantic prototype. So the synthesized visual sample features do not faithfully represent the real sample features, limiting the classifier training and existing ZSL performance. In this paper, we formulate this mismatch phenomenon as the visual-semantic domain shift problem. We propose a dynamic semantic prototype evolving (DSP) method to align the empirically predefined semantic prototypes and the real prototypes for class-related feature synthesis. The alignment is learned by refining sample features and semantic prototypes in a unified framework and making the synthesized visual sample features approach real sample features. After alignment, synthesized sample features from unseen classes are closer to the real sample features and benefit DSP to improve existing generative ZSL methods by 8.5\%, 8.0\%, and 9.7\% on the standard CUB, SUN AWA2 datasets, the significant performance improvement indicates that evolving semantic prototype explores a virgin field in ZSL.
• Abstract（参考訳）: ゼロショット学習(ZSL)では、生成法は事前に定義されたセマンティックプロトタイプに基づいてクラス関連サンプル特徴を合成する。 彼らは未確認のクラスサンプル機能を合成してZSL性能を向上し、分類器をより良く訓練する。 各クラスの事前定義されたセマンティックプロトタイプ(セマンティック埋め込みや条件とも呼ばれる)が、実際のセマンティックプロトタイプと正確に一致しないことを観察する。 したがって、合成されたビジュアルサンプル機能は、実際のサンプル特徴を忠実に表現せず、分類器の訓練と既存のZSL性能を制限する。 本稿では,このミスマッチ現象を視覚意味領域シフト問題として定式化する。 本稿では,クラス関連特徴合成のための経験的事前定義された意味的プロトタイプと実際のプロトタイプを整合させる動的意味的プロトタイプ進化(dsp)手法を提案する。 このアライメントは、統一されたフレームワークでサンプル機能とセマンティックプロトタイプを洗練し、合成されたビジュアルサンプル機能を実際のサンプル機能に近づけることで学習される。 アライメント後、未確認のクラスから合成されたサンプル特徴は実際のサンプル特徴に近づき、DSPが既存の生成的ZSL法を8.5\%、8.0\%、9.7\%改善するのに役立ち、標準のCUB、SUN AWA2データセットで顕著な性能向上が示され、進化するセマンティックプロトタイプがZSLの処女フィールドを探索していることを示している。

関連論文リスト

• Visual-Augmented Dynamic Semantic Prototype for Generative Zero-Shot Learning [56.16593809016167]
  本稿では,視覚・視覚の正確なマッピングを学習するために,ジェネレータを高速化するビジュアル拡張動的セマンティックプロトタイプ(VADS)を提案する。 VADSは2つのモジュールから構成される:(1)視覚認識ドメイン知識学習モジュール(VDKL)は視覚特徴の局所バイアスとグローバル先行を学習し、純粋なガウス雑音を置き換え、よりリッチな事前ノイズ情報を提供する;(2)視覚指向セマンティックアップダクションモジュール(VOSU)は、サンプルの視覚表現に従ってセマンティックプロトタイプを更新する。
  論文  参考訳（メタデータ） (2024-04-23T07:39:09Z)
• Hunting Attributes: Context Prototype-Aware Learning for Weakly Supervised Semantic Segmentation [22.591512454923883]
  我々は、インスタンスとコンテキスト間の知識バイアスが、インスタンスのセマンティクスを十分に理解するプロトタイプの能力に影響を与えると主張している。 プロトタイプ学習理論に触発された本研究では,インスタンスの多種多様かつきめ細かな特徴を捉えるために,プロトタイプ認識を活用することを提案する。 本稿では,コンテキスト型認識学習(CPAL:Context Prototype-Aware Learning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T13:11:58Z)
• Sign Language Translation with Iterative Prototype [104.76761930888604]
  IP-SLTは手話翻訳のためのシンプルだが効果的なフレームワークである 我々の考えは、人間の読みの振る舞いを模倣し、文を何度も消化して、正確な理解を得るというものである。
  論文  参考訳（メタデータ） (2023-08-23T15:27:50Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• Learning Semantic Ambiguities for Zero-Shot Learning [0.0]
  本稿では,任意の条件生成型ZSL法に適用可能な正規化手法を提案する。 トレーニング時に利用できない意味記述が可能な差別的特徴を合成することを学ぶ。 この手法は、文献でよく用いられる4つのデータセット上で、ZSLとGZSLに対して評価される。
  論文  参考訳（メタデータ） (2022-01-05T21:08:29Z)
• Boosting Generative Zero-Shot Learning by Synthesizing Diverse Features with Attribute Augmentation [21.72622601533585]
  多様な特徴を合成してゼロショット学習(ZSL)を促進する新しいフレームワークを提案する。 本手法は,視覚特徴の実際の分布をシミュレートするために,拡張意味属性を用いて生成モデルを訓練する。 提案したモデルを4つのベンチマークデータセット上で評価し,現状に対する大幅な性能改善を観察した。
  論文  参考訳（メタデータ） (2021-12-23T14:32:51Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Prototype Completion for Few-Shot Learning [13.63424509914303]
  少数ショット学習は、いくつかの例で新しいクラスを認識することを目的としている。 事前学習に基づく手法は,特徴抽出器を事前学習し,最寄りのセントロイド型メタラーニングを通して微調整することで,この問題に効果的に対処する。 本稿では,完成度に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:44:00Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。