論文の概要: Balancing Generalization and Specialization in Zero-shot Learning
- arxiv url: http://arxiv.org/abs/2201.01961v1
- Date: Thu, 6 Jan 2022 08:04:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-07 14:20:44.106452
- Title: Balancing Generalization and Specialization in Zero-shot Learning
- Title（参考訳）: ゼロショット学習におけるバランシング一般化と特殊化
- Authors: Yun Li, Zhe Liu, Lina Yao, Xiaojun Chang
- Abstract要約: 両機能を利用するために,BGSNetと呼ばれる共通化と能力のバランスの取れたエンドツーエンドネットワークを提案する。
新たな自己調整型多様性損失は、冗長性の低減と多様性の向上により、BSNetを最適化するように設計されている。
4つのベンチマークデータセットの実験は、我々のモデルの有効性を示している。
- 参考スコア（独自算出の注目度）: 80.7530875747194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-Shot Learning (ZSL) aims to transfer classification capability from seen
to unseen classes. Recent methods have proved that generalization and
specialization are two essential abilities to achieve good performance in ZSL.
However, they all focus on only one of the abilities, resulting in models that
are either too general with the degraded classifying ability or too specialized
to generalize to unseen classes. In this paper, we propose an end-to-end
network with balanced generalization and specialization abilities, termed as
BGSNet, to take advantage of both abilities, and balance them at instance- and
dataset-level. Specifically, BGSNet consists of two branches: the
Generalization Network (GNet), which applies episodic meta-learning to learn
generalized knowledge, and the Balanced Specialization Network (BSNet), which
adopts multiple attentive extractors to extract discriminative features and
fulfill the instance-level balance. A novel self-adjusting diversity loss is
designed to optimize BSNet with less redundancy and more diversity. We further
propose a differentiable dataset-level balance and update the weights in a
linear annealing schedule to simulate network pruning and thus obtain the
optimal structure for BSNet at a low cost with dataset-level balance achieved.
Experiments on four benchmark datasets demonstrate our model's effectiveness.
Sufficient component ablations prove the necessity of integrating
generalization and specialization abilities.
- Abstract（参考訳）: zero-shot learning (zsl) は、seeからunseenクラスへの分類能力の移行を目的としている。
近年の手法では、一般化と特殊化がZSLの性能向上に不可欠な2つの能力であることが証明されている。
しかし、それらはいずれも能力の1つにのみ焦点を合わせており、結果として、分解された分類能力を持つのが一般的すぎるか、目に見えないクラスに一般化するには特殊すぎるモデルとなる。
本稿では,bgsnetと呼ばれる,汎用性と特殊化能力のバランスを両立させ,インスタンスレベルとデータセットレベルでのバランスをとるエンドツーエンドネットワークを提案する。
具体的には、一般化学習にエピソディックなメタラーニングを適用した一般化ネットワーク(GNet)と、識別的特徴を抽出し、インスタンスレベルのバランスを満たすために複数の注意抽出器を採用するバランスドスペシャライゼーションネットワーク(BSNet)の2つの分野から構成される。
新しい自己調整型ダイバーシティ損失は、冗長性と多様性の少ないbsnetを最適化するために設計されている。
さらに,線形アニーリングスケジュールにおける重み付けを改良し,ネットワークプルーニングをシミュレートし,BSNetの最適構造を,データセットレベルのバランスを達成した低コストで得ることを提案する。
4つのベンチマークデータセットの実験は、我々のモデルの有効性を示している。
十分成分の短縮は一般化と特殊化能力の統合の必要性を証明している。
関連論文リスト
- Class-Balanced and Reinforced Active Learning on Graphs [13.239043161351482]
グラフニューラルネットワーク(GNN)は、ノード分類、リンク予測、グラフ分類など、さまざまなアプリケーションで大きな成功を収めている。
GNNのアクティブラーニングは、ラベルのないデータから貴重なサンプルを照会して、GNNのパフォーマンスを低コストで最大化することを目的としている。
GNNにおける強化能動学習のための既存のアルゴリズムは、特に高度に歪んだクラスシナリオにおいて、高度に不均衡なクラス分布をもたらす可能性がある。
我々は、GNNのための新しいクラスバランスと強化されたアクティブラーニングフレームワーク、すなわちGCBRを提案し、クラスバランスと情報ノードを取得するための最適なポリシーを学習する。
論文 参考訳（メタデータ） (2024-02-15T16:37:14Z) - Simplifying Neural Network Training Under Class Imbalance [77.39968702907817]
実世界のデータセットは、しばしば高いクラス不均衡であり、ディープラーニングモデルのパフォーマンスに悪影響を及ぼす可能性がある。
クラス不均衡下でのニューラルネットワークのトレーニングに関する研究の大部分は、特殊な損失関数、サンプリング技術、または2段階のトレーニング手順に焦点を当てている。
バッチサイズやデータ拡張,ラベルの平滑化といった,標準的なディープラーニングパイプラインの既存のコンポーネントを単にチューニングするだけで,そのような特殊なクラス不均衡な手法を使わずに,最先端のパフォーマンスを達成できることを実証する。
論文 参考訳（メタデータ） (2023-12-05T05:52:44Z) - Overcoming Recency Bias of Normalization Statistics in Continual
Learning: Balance and Adaptation [67.77048565738728]
継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。
本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。
提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2023-10-13T04:50:40Z) - RAHNet: Retrieval Augmented Hybrid Network for Long-tailed Graph
Classification [10.806893809269074]
本稿では,ロバストな特徴抽出器と非バイアスな分類器を共同で学習するRAHNet(Retrieval Augmented Hybrid Network)を提案する。
特徴抽出学習の段階において,各クラスにおけるクラス内多様性を直接強化する関係グラフを探索するグラフ検索モジュールを開発する。
また、分類表現を得るために、カテゴリー中心の教師付きコントラスト損失を革新的に最適化する。
論文 参考訳（メタデータ） (2023-08-04T14:06:44Z) - Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。
我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。
複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
論文 参考訳（メタデータ） (2021-06-17T11:41:30Z) - Supervised Contrastive Learning for Pre-trained Language Model
Fine-tuning [23.00300794016583]
最先端の自然言語理解分類モデルは2段階に従う。
微調整段階に対する教師付きコントラスト学習(SCL)の目的を提案する。
提案した微調整目的は、微調整訓練データにおいて、異なるレベルのノイズに対してより堅牢なモデルに導かれる。
論文 参考訳（メタデータ） (2020-11-03T01:10:39Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳（メタデータ） (2020-06-30T04:39:36Z) - Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。
フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文 参考訳（メタデータ） (2020-04-01T19:05:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。