論文の概要: Class Normalization for (Continual)? Generalized Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2006.11328v2
• Date: Wed, 14 Apr 2021 16:12:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 03:30:39.683166
• Title: Class Normalization for (Continual)? Generalized Zero-Shot Learning
• Title（参考訳）: 連続)のクラス正規化? 一般化ゼロショット学習
• Authors: Ivan Skorokhodov, Mohamed Elhoseiny
• Abstract要約: 正規化技術は、従来の教師付き学習体制におけるトレーニングの成功の重要な要素であることが証明されている。 本研究は,ゼロショット学習(ZSL)シナリオにおける正規化を理論的および実用的両面から研究する。
• 参考スコア（独自算出の注目度）: 34.31133515355572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalization techniques have proved to be a crucial ingredient of successful training in a traditional supervised learning regime. However, in the zero-shot learning (ZSL) world, these ideas have received only marginal attention. This work studies normalization in ZSL scenario from both theoretical and practical perspectives. First, we give a theoretical explanation to two popular tricks used in zero-shot learning: normalize+scale and attributes normalization and show that they help training by preserving variance during a forward pass. Next, we demonstrate that they are insufficient to normalize a deep ZSL model and propose Class Normalization (CN): a normalization scheme, which alleviates this issue both provably and in practice. Third, we show that ZSL models typically have more irregular loss surface compared to traditional classifiers and that the proposed method partially remedies this problem. Then, we test our approach on 4 standard ZSL datasets and outperform sophisticated modern SotA with a simple MLP optimized without any bells and whistles and having ~50 times faster training speed. Finally, we generalize ZSL to a broader problem -- continual ZSL, and introduce some principled metrics and rigorous baselines for this new setup. The project page is located at https://universome.github.io/class-norm.
• Abstract（参考訳）: 正規化技術は、従来の教師付き学習体制におけるトレーニングの成功の重要な要素であることが証明されている。 しかし、ゼロショット学習(ZSL)の世界では、これらのアイデアは限界的な注目を集めているだけである。 本研究は,ZSLシナリオの正規化を理論的および実用的両面から研究する。 まず、ゼロショット学習で使われる2つの一般的なトリックについて、理論的な説明を与える:正規化+スケールと属性正規化。 次に、深部ZSLモデルの正規化が不十分であることを示し、この問題を実証的かつ実際的に緩和する正規化スキームであるクラス正規化(CN)を提案する。 第3に、ZSLモデルは通常従来の分類器よりも不規則な損失面を有しており、提案手法はこの問題を部分的に改善していることを示す。 そして、我々のアプローチを4つの標準ZSLデータセットで検証し、ベルやホイッスルを使わずに最適化され、トレーニング速度の約50倍の速さで、洗練された現代SotAより優れています。 最後に、ZSLをより広範な問題(連続的なZSL)に一般化し、この新たなセットアップにいくつかの原則付きメトリクスと厳密なベースラインを導入する。 プロジェクトページはhttps://universome.github.io/class-normにある。

関連論文リスト

• Bi-directional Distribution Alignment for Transductive Zero-Shot Learning [48.80413182126543]
  そこで我々は,Bi-VAEGANと呼ばれる新しいゼロショット学習モデル(TZSL)を提案する。 視覚空間と補助空間の間の配向の強化によるシフトを大幅に改善する。 ベンチマーク評価では、Bi-VAEGANは、標準および一般化されたTZSL設定の両方の下で、新しい芸術の状態を達成している。
  論文  参考訳（メタデータ） (2023-03-15T15:32:59Z)
• Unseen Classes at a Later Time? No Problem [17.254973125515402]
  より実用的でフレキシブルなオンラインCGZSL設定を提案する。 これらのCGZSL設定のいずれにおいても時間とともに現れる新しいクラスの追加に動的に適応するために、双方向インクリメンタルアライメントを活用する、CGZSL用の統合機能生成フレームワークを導入する。
  論文  参考訳（メタデータ） (2022-03-30T17:52:16Z)
• Don't fear the unlabelled: safe deep semi-supervised learning via simple debiasing [12.569695703536615]
  半教師付き学習(SSL)は、モデルの性能を改善するために、非ラベルデータを活用する効果的な手段を提供する。 ほとんどのメソッドは安全でないという共通の欠点を示します。 このバイアスは、適切な検証セットなしでこれらのテクニックを信頼できないものにします。
  論文  参考訳（メタデータ） (2022-03-14T21:42:21Z)
• Task Aligned Generative Meta-learning for Zero-shot Learning [64.16125851588437]
  ゼロショット学習のためのタスク整合型ジェネラティブメタラーニングモデル(TGMZ)の提案 TGMZはバイアスのあるトレーニングを緩和し、メタZSLが多様な分布を含む現実世界のデータセットに対応できるようにする。 最先端アルゴリズムとの比較により,awa1,awa2,cub,apyデータセット上でtgmzが達成した2.1%,3.0%,2.5%,7.6%の改善が示された。
  論文  参考訳（メタデータ） (2021-03-03T05:18:36Z)
• Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning [82.07273754143547]
  トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。 属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
  論文  参考訳（メタデータ） (2021-02-23T18:36:14Z)
• End-to-end Generative Zero-shot Learning via Few-shot Learning [76.9964261884635]
  ゼロショット学習(ZSL)の最先端アプローチでは、生成ネットをトレーニングし、提供されたメタデータに条件付きサンプルを合成する。 本稿では,このような手法をバックボーンとして使用し,合成した出力をFew-Shot Learningアルゴリズムに供給するエンドツーエンド生成ZSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-08T17:35:37Z)
• Generative Replay-based Continual Zero-Shot Learning [7.909034037183046]
  再生再生型連続ZSL(GRCZSL)を開発した。 提案手法は従来のZSLにストリーミングデータから学び、以前のタスクの経験を忘れることなく新しい知識を得ることができる。 GRZSL法は,実世界の問題設定をシミュレートした連続学習の単一ヘッド設定のために開発された。
  論文  参考訳（メタデータ） (2021-01-22T00:03:34Z)
• Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning [59.58381904522967]
  本稿では,密な視覚-意味的結合制約を持つ埋め込み型生成モデルを提案する。 視覚空間と意味空間の両方の埋め込みパラメトリック分布を校正する統合潜在空間を学習する。 本手法は, 画像のラベルを生成することにより, トランスダクティブZSL設定に容易に拡張できる。
  論文  参考訳（メタデータ） (2020-09-16T03:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。