論文の概要: Semantic Supervision: Enabling Generalization over Output Spaces

• arxiv url: http://arxiv.org/abs/2202.13100v1
• Date: Sat, 26 Feb 2022 09:55:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-03 11:08:10.006370
• Title: Semantic Supervision: Enabling Generalization over Output Spaces
• Title（参考訳）: Semantic Supervision: アウトプットスペースに対する一般化の実現
• Authors: Austin W. Hanjie and Ameet Deshpande and Karthik Narasimhan
• Abstract要約: SemSupはクラスの記述から得られる高密度なベクトル特徴としてクラスを表す。 これにより出力空間はアンバウンド化され、モデルが未表示の入力と未表示の出力の両方を一般化することができる。
• 参考スコア（独自算出の注目度）: 23.964801524703056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose Semantic Supervision (SemSup) - a unified paradigm for training classifiers that generalize over output spaces. In contrast to standard classification, which treats classes as discrete symbols, SemSup represents them as dense vector features obtained from descriptions of classes (e.g., "The cat is a small carnivorous mammal"). This allows the output space to be unbounded (in the space of descriptions) and enables models to generalize both over unseen inputs and unseen outputs (e.g. "The aardvark is a nocturnal burrowing mammal with long ears"). Specifically, SemSup enables four types of generalization, to -- (1) unseen class descriptions, (2) unseen classes, (3) unseen super-classes, and (4) unseen tasks. Through experiments on four classification datasets across two variants (multi-class and multi-label), two input modalities (text and images), and two output description modalities (text and JSON), we show that our SemSup models significantly outperform standard supervised models and existing models that leverage word embeddings over class names. For instance, our model outperforms baselines by 40% and 20% precision points on unseen descriptions and classes, respectively, on a news categorization dataset (RCV1). SemSup can serve as a pathway for scaling neural models to large unbounded output spaces and enabling better generalization and model reuse for unseen tasks and domains.
• Abstract（参考訳）: 本稿では,出力空間を一般化する分類器を訓練するための統一パラダイムであるsemsupを提案する。 クラスを離散的なシンボルとして扱う標準的な分類とは対照的に、セムサップはクラスの記述から得られる密集したベクトル特徴(例えば「猫は小さな肉食哺乳動物である」)を表す。 これにより、出力空間は(記述の空間において)非有界となり、モデルが見えない入力と見えない出力の両方を一般化することができる(例えば、「アードヴァルクは長い耳を持つ夜行性バローリング哺乳動物である」)。 具体的には、semsup は 4 種類の一般化が可能であり、(1) 未認識のクラス記述、(2) 未認識のクラス、(3) 未認識のスーパークラス、(4) 未認識のタスクである。 2つの変種(マルチクラスとマルチラベル)、2つの入力モダリティ(テキストとイメージ)、2つの出力記述モダリティ(テキストとjson)をまたいだ4つの分類データセットの実験を通じて、semsupモデルが標準教師付きモデルやクラス名に対する単語埋め込みを利用する既存モデルを大きく上回ることを示した。 例えば、我々のモデルは、ニュース分類データセット(RCV1)上で、目に見えない記述やクラスに対して、ベースラインを40%、精度20%で上回ります。 SemSupは、ニューラルネットワークモデルを大きな非有界な出力空間にスケーリングするための経路として機能し、見えないタスクやドメインに対するより良い一般化とモデルの再利用を可能にする。

関連論文リスト

• Embracing Diversity: Interpretable Zero-shot classification beyond one vector per class [16.101460010750458]
  クラス内の多様性を表現するために、ゼロショット分類は単一のベクトルを超えるべきであると論じる。 そこで本研究では,ゼロショット設定において,推論属性を用いたクラス内の多様性のエンコードと説明を行う手法を提案する。 提案手法は,大規模なデータセット群に対して,標準ゼロショット分類よりも一貫して優れることがわかった。
  論文  参考訳（メタデータ） (2024-04-25T16:29:06Z)
• Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
  クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。 提案手法は適応生成モデルを用いて画像のラベルを直接生成する。 Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
  論文  参考訳（メタデータ） (2024-03-27T09:21:07Z)
• SEER-ZSL: Semantic Encoder-Enhanced Representations for Generalized Zero-Shot Learning [0.7420433640907689]
  一般化ゼロショット学習(GZSL)は、見知らぬクラスから知識を伝達することで、目に見えないクラスを認識する。 本稿では,一般化ギャップに対処するための二重戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-20T15:18:51Z)
• Attention is Not Always What You Need: Towards Efficient Classification of Domain-Specific Text [1.1508304497344637]
  階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。 ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。 PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
  論文  参考訳（メタデータ） (2023-03-31T03:17:23Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Isometric Propagation Network for Generalized Zero-shot Learning [72.02404519815663]
  一般的な戦略は、クラス属性の意味空間と、見たクラスとそのデータに基づいて画像の視覚空間とのマッピングを学ぶことである。 本稿では,各空間内のクラス間の関係を強化し,2つの空間におけるクラス依存性を整合させるIsometric propagation Network (IPN)を提案する。 IPNは3つの人気のあるゼロショット学習ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-02-03T12:45:38Z)
• Attribute Propagation Network for Graph Zero-shot Learning [57.68486382473194]
  属性伝達ネットワーク (APNet) を導入し, 1) クラス毎に属性ベクトルを生成するグラフ伝搬モデルと, 2) パラメータ化隣人 (NN) 分類器から構成する。 APNetは、2つのゼロショット学習設定と5つのベンチマークデータセットによる実験で、魅力的なパフォーマンスまたは新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-24T16:53:40Z)
• Feature Space Augmentation for Long-Tailed Data [74.65615132238291]
  実世界のデータは、各クラスの周波数が典型的に異なるため、長い尾の分布に従うことが多い。 データ再サンプリングと拡張に関するクラスバランス損失と高度な手法は、データの不均衡問題を解決するためのベストプラクティスのひとつです。 提案手法は,多種多様なサンプルを持つクラスから学習した特徴量を用いて,特徴空間における表現不足のクラスを増大させることによって,長鎖問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-08-09T06:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。