論文の概要: ConEntail: An Entailment-based Framework for Universal Zero and Few Shot
Classification with Supervised Contrastive Pretraining
- arxiv url: http://arxiv.org/abs/2210.07587v1
- Date: Fri, 14 Oct 2022 07:37:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 16:35:54.404909
- Title: ConEntail: An Entailment-based Framework for Universal Zero and Few Shot
Classification with Supervised Contrastive Pretraining
- Title（参考訳）: ConEntail: コントラスト事前学習によるUniversal ZeroとFew Shot分類のための拡張型フレームワーク
- Authors: Haoran Zhang, Aysa Xuemo Fan and Rui Zhang
- Abstract要約: ConEntailは、教師付きコントラスト事前訓練による、普遍的なゼロとほとんどショットの分類のためのフレームワークである。
実験では,同じデータセット上で事前学習した識別モデルと生成モデルを比較した。
- 参考スコア（独自算出の注目度）: 20.898477720723573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A universal classification model aims to generalize to diverse classification
tasks in both zero and few shot settings. A promising way toward universal
classification is to cast heterogeneous data formats into a dataset-agnostic
"meta-task" (e.g., textual entailment, question answering) then pretrain a
model on the combined meta dataset. The existing work is either pretrained on
specific subsets of classification tasks, or pretrained on both classification
and generation data but the model could not fulfill its potential in
universality and reliability. These also leave a massive amount of annotated
data under-exploited. To fill these gaps, we propose ConEntail, a new framework
for universal zero and few shot classification with supervised contrastive
pretraining. Our unified meta-task for classification is based on nested
entailment. It can be interpreted as "Does sentence a entails [sentence b
entails label c]". This formulation enables us to make better use of 57
annotated classification datasets for supervised contrastive pretraining and
universal evaluation. In this way, ConEntail helps the model (1) absorb
knowledge from different datasets, and (2) gain consistent performance gain
with more pretraining data. In experiments, we compare our model with
discriminative and generative models pretrained on the same dataset. The
results confirm that our framework effectively exploits existing annotated data
and consistently outperforms baselines in both zero (9.4% average improvement)
and few shot settings (3.5% average improvement).
- Abstract（参考訳）: 普遍的な分類モデルは、ゼロと少ないショット設定の両方で多様な分類タスクに一般化することを目的としている。
普遍的分類への有望な方法は、不均一なデータ形式をデータセットに依存しない「メタタスク」にキャストし、複合したメタデータセット上でモデルを事前トレーニングすることである。
既存の作業は、分類タスクの特定のサブセットで事前訓練されるか、分類データと生成データの両方で事前訓練されるが、モデルは普遍性と信頼性においてその潜在能力を達成できなかった。
また、大量の注釈付きデータを未公開のまま残している。
これらのギャップを埋めるため,我々は,教師付きコントラストプリトレーニングを用いたユニバーサルゼロとショット分類のための新しいフレームワークconentailを提案する。
分類のための統一メタタスクは、ネストエンターメントに基づいています。
これは「文aは[sentence bはラベルc]を包含する」と解釈できる。
この定式化により、57の注釈付き分類データセットを教師付きコントラスト事前学習と普遍的評価に利用できる。
このようにして、conentailはモデル(1)が異なるデータセットから知識を吸収し、(2)より事前訓練されたデータで一貫性のあるパフォーマンスを得るのに役立つ。
実験では,同じデータセット上で事前学習した識別モデルと生成モデルを比較した。
その結果、既存の注釈付きデータを効果的に活用し、ゼロ(平均9.4%改善)とショット設定(平均3.5%改善)の両方でベースラインを一貫して上回っていることが確認された。
関連論文リスト
- Fair Classification with Partial Feedback: An Exploration-Based Data Collection Approach [15.008626822593]
多くの予測的文脈において、真の結果は過去に肯定的に分類されたサンプルに対してのみ観察される。
我々は、利用可能なデータを用いて分類器を訓練し、探索戦略のファミリーを持つアプローチを提案する。
提案手法は,収集した結果データの品質を継続的に向上し,すべてのグループに対して真の正の比率を向上することを示す。
論文 参考訳（メタデータ） (2024-02-17T17:09:19Z) - Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-24T09:39:45Z) - Universal Semi-supervised Model Adaptation via Collaborative Consistency
Training [92.52892510093037]
我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。
本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。
実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-07-07T08:19:40Z) - Estimating Confidence of Predictions of Individual Classifiers and Their
Ensembles for the Genre Classification Task [0.0]
Genre IDは、非トピックテキスト分類のサブクラスである。
BERTやXLM-RoBERTaのような事前訓練されたトランスフォーマーに基づく神経モデルは、多くのNLPタスクにおいてSOTA結果を示す。
論文 参考訳（メタデータ） (2022-06-15T09:59:05Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - Cluster & Tune: Boost Cold Start Performance in Text Classification [21.957605438780224]
実世界のシナリオでは、ラベル付きデータが不足している場合、テキスト分類タスクはコールドスタートから始まることが多い。
中間的教師なし分類タスクを追加することにより,そのようなモデルの性能を向上させる手法を提案する。
論文 参考訳（メタデータ） (2022-03-20T15:29:34Z) - Resolving label uncertainty with implicit posterior models [71.62113762278963]
本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。
異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
論文 参考訳（メタデータ） (2022-02-28T18:09:44Z) - Does Data Repair Lead to Fair Models? Curating Contextually Fair Data To
Reduce Model Bias [10.639605996067534]
コンテキスト情報は、より優れた表現を学び、精度を向上させるために、ディープニューラルネットワーク(DNN)にとって貴重なキューである。
COCOでは、多くの対象カテゴリーは、男性よりも男性の方がはるかに高い共起性を持ち、男性に有利なDNNの予測を偏見を与える可能性がある。
本研究では, 変動係数を用いたデータ修復アルゴリズムを導入し, 保護されたクラスに対して, 公平かつ文脈的にバランスの取れたデータをキュレートする。
論文 参考訳（メタデータ） (2021-10-20T06:00:03Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Set-valued classification -- overview via a unified framework [15.109906768606644]
マルチクラスのデータセットは極めて曖昧で、単一出力の予測では十分なパフォーマンスが得られない。
予測者がラベル候補のセットを予測できるようにすることで、セット値分類は、この曖昧さに対処する自然な方法を提供する。
無限サンプルの最適集合値分類戦略を提供し,データ駆動アルゴリズムを構築するための一般的なプラグイン原理を考察する。
論文 参考訳（メタデータ） (2021-02-24T14:54:07Z) - Semi-Supervised Models via Data Augmentationfor Classifying Interactive
Affective Responses [85.04362095899656]
本稿では、対話型感情応答を分類する半教師付きテキスト分類システムSMDA(Data Augmentation)を提案する。
ラベル付き文に対しては,ラベル分布の均一化と学習過程における教師付き損失の計算のためにデータ拡張を行った。
ラベルなし文に対しては,ラベルなし文に対する低エントロピー予測を擬似ラベルとして検討した。
論文 参考訳（メタデータ） (2020-04-23T05:02:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。