論文の概要: SupCL-Seq: Supervised Contrastive Learning for Downstream Optimized
Sequence Representations
- arxiv url: http://arxiv.org/abs/2109.07424v1
- Date: Wed, 15 Sep 2021 16:51:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-16 15:15:54.210470
- Title: SupCL-Seq: Supervised Contrastive Learning for Downstream Optimized
Sequence Representations
- Title(参考訳): SupCL-Seq: 下流最適化シーケンス表現のためのコントラスト学習
- Authors: Hooman Sedghamiz, Shivam Raval, Enrico Santus, Tuka Alhanai, Mohammad
Ghassemi
- Abstract要約: 本稿では,コンピュータビジョンからNLPにおけるシーケンス表現の最適化まで,教師付きコントラスト学習を拡張したSupCL-Seqを提案する。
我々は,SupCL-Seqが標準BERTbaseと比較して,GLUEベンチマーク上の多くのシーケンス分類タスクにおいて大きな向上をもたらすことを示す。
- 参考スコア(独自算出の注目度): 4.392337343771302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While contrastive learning is proven to be an effective training strategy in
computer vision, Natural Language Processing (NLP) is only recently adopting it
as a self-supervised alternative to Masked Language Modeling (MLM) for
improving sequence representations. This paper introduces SupCL-Seq, which
extends the supervised contrastive learning from computer vision to the
optimization of sequence representations in NLP. By altering the dropout mask
probability in standard Transformer architectures, for every representation
(anchor), we generate augmented altered views. A supervised contrastive loss is
then utilized to maximize the system's capability of pulling together similar
samples (e.g., anchors and their altered views) and pushing apart the samples
belonging to the other classes. Despite its simplicity, SupCLSeq leads to large
gains in many sequence classification tasks on the GLUE benchmark compared to a
standard BERTbase, including 6% absolute improvement on CoLA, 5.4% on MRPC,
4.7% on RTE and 2.6% on STSB. We also show consistent gains over self
supervised contrastively learned representations, especially in non-semantic
tasks. Finally we show that these gains are not solely due to augmentation, but
rather to a downstream optimized sequence representation. Code:
https://github.com/hooman650/SupCL-Seq
- Abstract(参考訳): コントラスト学習はコンピュータビジョンにおいて効果的なトレーニング戦略であることが証明されているが、自然言語処理(nlp)は、最近になって、シーケンス表現を改善するためにマスク言語モデリング(mlm)の代替として採用した。
本稿では,コンピュータビジョンからNLPにおけるシーケンス表現の最適化まで,教師付きコントラスト学習を拡張したSupCL-Seqを提案する。
標準的なTransformerアーキテクチャでは,各表現(アンカー)に対してドロップアウトマスクの確率を変更することで,拡張されたビューを生成する。
次に、教師付きコントラスト損失を利用して、類似のサンプル(例えば、アンカーとその修正されたビュー)をまとめ、他のクラスに属するサンプルを分解するシステムの能力を最大化する。
その単純さにもかかわらず、SupCLSeqは、標準のBERTbaseと比較してGLUEベンチマーク上の多くのシーケンス分類タスクにおいて、CoLAの6%の絶対的な改善、MRPCの5.4%、RTEの4.7%、STSBの2.6%を含む大きな増加につながっている。
また, 自己教師付き対照学習表現, 特に非意味的タスクにおいて, 一貫性のある成果を示す。
最後に、これらのゲインは単に増大によるものではなく、下流最適化シーケンス表現によるものであることを示す。
コード: https://github.com/hooman650/supcl-seq
関連論文リスト
- Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。
ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。
そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
論文 参考訳(メタデータ) (2024-03-10T09:46:28Z) - VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video
Anomaly Detection [58.47940430618352]
弱教師付きビデオ異常検出(WSVAD)のための新しいパラダイムであるVadCLIPを提案する。
VadCLIPは、CLIPの強度に関する視覚と言語の間のきめ細かい関連をフル活用している。
本稿では,VadCLIPが粗粒度および細粒度 WSVAD の両面において最高の性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-08-22T14:58:36Z) - Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。
提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
論文 参考訳(メタデータ) (2023-05-09T11:00:02Z) - A Simplified Framework for Contrastive Learning for Node Representations [2.277447144331876]
グラフにノードを埋め込むために,グラフニューラルネットワークと組み合わせてコントラスト学習を展開できる可能性を検討する。
組込み行列の単純なカラムワイド後処理により, 組込み結果の品質とトレーニング時間を大幅に改善できることを示す。
この修正により、下流の分類タスクは最大1.5%改善され、8つの異なるベンチマークのうち6つで既存の最先端のアプローチに勝っている。
論文 参考訳(メタデータ) (2023-05-01T02:04:36Z) - Unsupervised Visual Representation Learning by Synchronous Momentum
Grouping [47.48803765951601]
ImageNet上のグループレベルのコントラスト型視覚表現学習法は,バニラ教師あり学習を超越している。
我々は、SMoGが現在のSOTA教師なし表現学習法を超越したことを示すために、徹底的な実験を行う。
論文 参考訳(メタデータ) (2022-07-13T13:04:15Z) - Self-supervision through Random Segments with Autoregressive Coding
(RandSAC) [46.519302668058025]
様々なデザイン選択が視覚的特徴学習にそのようなトレーニング戦略を適用する成功にもたらす影響について検討する。
具体的には、自動回帰符号化(RandSAC)を用いたランダムセグメント(Random Segments)と呼ばれる新しい戦略を導入する。
RandSACでは、パッチ表現(画像トークン)を階層的に配置したセグメントにグループ化します。各セグメントでは、トークンはBERTに似ていますが、セグメント間の予測は、GPTに似ています。
セグメントのランダム化シリアライゼーションは、空間的長大(クロスセグメント)と短短短短(ウィスイン)の分布において、性能と結果を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2022-03-22T21:28:55Z) - Provable Stochastic Optimization for Global Contrastive Learning: Small
Batch Does Not Harm Performance [53.49803579981569]
各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。
SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。
本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-24T22:16:53Z) - Self-Supervised Learning Disentangled Group Representation as Feature [82.07737719232972]
既存の自己監督学習(SSL)は、回転や着色などの単純な拡張機能のみを分解することを示す。
反復的分割に基づく不変リスク最小化(IP-IRM)を提案する。
我々は、IP-IRMが完全に不整合表現に収束し、様々なベンチマークでその効果を示すことを証明した。
論文 参考訳(メタデータ) (2021-10-28T16:12:33Z) - Weakly Supervised Contrastive Learning [68.47096022526927]
この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。
WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
論文 参考訳(メタデータ) (2021-10-10T12:03:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。