論文の概要: Label Anchored Contrastive Learning for Language Understanding
- arxiv url: http://arxiv.org/abs/2205.10227v1
- Date: Tue, 26 Apr 2022 15:33:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-29 21:20:35.559824
- Title: Label Anchored Contrastive Learning for Language Understanding
- Title(参考訳): 言語理解のためのラベルアンカー型コントラスト学習
- Authors: Zhenyu Zhang, Yuming Zhao, Meng Chen, Xiaodong He
- Abstract要約: 言語理解のための新しいラベル付きコントラスト学習手法(LaCon)を提案する。
当社のアプローチでは、特別なネットワークアーキテクチャや追加のデータ拡張は必要ありません。
LaConはGLUEとCLUEベンチマークの一般的なデータセットを最大4.1%改善する。
- 参考スコア(独自算出の注目度): 17.28721753405111
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning (CL) has achieved astonishing progress in computer
vision, speech, and natural language processing fields recently with
self-supervised learning. However, CL approach to the supervised setting is not
fully explored, especially for the natural language understanding
classification task. Intuitively, the class label itself has the intrinsic
ability to perform hard positive/negative mining, which is crucial for CL.
Motivated by this, we propose a novel label anchored contrastive learning
approach (denoted as LaCon) for language understanding. Specifically, three
contrastive objectives are devised, including a multi-head instance-centered
contrastive loss (ICL), a label-centered contrastive loss (LCL), and a label
embedding regularizer (LER). Our approach does not require any specialized
network architecture or any extra data augmentation, thus it can be easily
plugged into existing powerful pre-trained language models. Compared to the
state-of-the-art baselines, LaCon obtains up to 4.1% improvement on the popular
datasets of GLUE and CLUE benchmarks. Besides, LaCon also demonstrates
significant advantages under the few-shot and data imbalance settings, which
obtains up to 9.4% improvement on the FewGLUE and FewCLUE benchmarking tasks.
- Abstract(参考訳): コントラスト学習(CL)は近年,コンピュータビジョン,音声,自然言語処理分野において,自己指導型学習によって驚くべき進歩を遂げている。
しかし、特に自然言語理解分類タスクにおいて、教師付き設定へのclアプローチは十分に検討されていない。
直感的には、クラスラベル自体が強正・負のマイニングを行う本質的な能力を持っている。
そこで本研究では,言語理解のための新しいラベルアンカー型コントラスト学習手法(lacon)を提案する。
具体的には、マルチヘッドインスタンス中心コントラスト損失(ICL)、ラベル中心コントラスト損失(LCL)、ラベル埋め込み正規化器(LER)の3つのコントラスト目標を考案した。
我々のアプローチでは、特別なネットワークアーキテクチャや追加のデータ拡張は必要とせず、既存の強力な事前学習言語モデルに簡単にプラグインできる。
最先端のベースラインと比較して、LaConはGLUEとCLUEベンチマークの一般的なデータセットで最大4.1%改善されている。
さらに、LaConは、FewGLUEとFewCLUEベンチマークタスクで最大9.4%改善された、数ショットとデータ不均衡設定の下で、大きな利点を示している。
関連論文リスト
- Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。
クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。
我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
論文 参考訳(メタデータ) (2024-03-13T11:23:55Z) - SCLIP: Rethinking Self-Attention for Dense Vision-Language Inference [12.872308743619403]
セマンティックセグメンテーションにおけるコントラッシブ言語イメージ事前学習の可能性を高める。
自己注意を再考することで、CLIPは密集した予測タスクに適応できることがわかった。
従来のCLIPビジョンエンコーダの自己保持ブロックをCSAモジュールで置き換える。
論文 参考訳(メタデータ) (2023-12-04T03:18:46Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-24T17:56:46Z) - Investigating the Learning Behaviour of In-context Learning: A
Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。
我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。
まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。
第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文 参考訳(メタデータ) (2023-07-28T09:03:19Z) - TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic
Segmentation [55.575224613422726]
コントラスト言語-画像事前学習(CLIP)は,画素レベルのオープン語彙学習タスクにおいて大きな可能性を秘めている。
既存のモデルは、未知のクラスから入力ピクセルを容易に識別し、意味的に類似したクラスと混同する。
提案する最適化問題を,個別にセマンティックマッチングを行い,識別能力の向上のために信頼性を判断する2つの並列プロセスに分解する。
論文 参考訳(メタデータ) (2023-04-15T12:52:23Z) - One Class One Click: Quasi Scene-level Weakly Supervised Point Cloud
Semantic Segmentation with Active Learning [29.493759008637532]
One Class One Click (OCOC)は、ポイントレベルのアノテーションとシーンレベルのアノテーションをカプセル化した、低コストで情報的な準シーンレベルのラベルである。
グローバル・ローカル・パースペクティブからの弱い監督を伴って、希少なラベルを活用するために、活発な弱監督フレームワークが提案されている。
F1スコアの平均値において、実際のシーンレベルの弱い監督手法を最大25%上回っている。
論文 参考訳(メタデータ) (2022-11-23T01:23:26Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳(メタデータ) (2022-10-17T17:57:46Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。