論文の概要: Simple Contrastive Representation Adversarial Learning for NLP Tasks
- arxiv url: http://arxiv.org/abs/2111.13301v1
- Date: Fri, 26 Nov 2021 03:16:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 16:04:12.753889
- Title: Simple Contrastive Representation Adversarial Learning for NLP Tasks
- Title（参考訳）: NLPタスクに対する簡易コントラスト表現逆学習
- Authors: Deshui Miao and Jiaqi Zhang and Wenbo Xie and Jian Song and Xin Li and
Lijuan Jia and Ning Guo
- Abstract要約: 教師付きコントラスト対逆学習(SCAL)と教師なしSCAL(USCAL)の2つの新しいフレームワークを提案する。
本稿では,自然言語理解,文意味的テキスト類似性,対人学習タスクのためのTransformerベースのモデルに適用する。
GLUEベンチマークタスクの実験結果から,細調整された教師付き手法はBERT$_base$1.75%以上の性能を示した。
- 参考スコア（独自算出の注目度）: 17.12062566060011
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning approach like contrastive learning is attached great
attention in natural language processing. It uses pairs of training data
augmentations to build a classification task for an encoder with well
representation ability. However, the construction of learning pairs over
contrastive learning is much harder in NLP tasks. Previous works generate
word-level changes to form pairs, but small transforms may cause notable
changes on the meaning of sentences as the discrete and sparse nature of
natural language. In this paper, adversarial training is performed to generate
challenging and harder learning adversarial examples over the embedding space
of NLP as learning pairs. Using contrastive learning improves the
generalization ability of adversarial training because contrastive loss can
uniform the sample distribution. And at the same time, adversarial training
also enhances the robustness of contrastive learning. Two novel frameworks,
supervised contrastive adversarial learning (SCAL) and unsupervised SCAL
(USCAL), are proposed, which yields learning pairs by utilizing the adversarial
training for contrastive learning. The label-based loss of supervised tasks is
exploited to generate adversarial examples while unsupervised tasks bring
contrastive loss. To validate the effectiveness of the proposed framework, we
employ it to Transformer-based models for natural language understanding,
sentence semantic textual similarity and adversarial learning tasks.
Experimental results on GLUE benchmark tasks show that our fine-tuned
supervised method outperforms BERT$_{base}$ over 1.75\%. We also evaluate our
unsupervised method on semantic textual similarity (STS) tasks, and our method
gets 77.29\% with BERT$_{base}$. The robustness of our approach conducts
state-of-the-art results under multiple adversarial datasets on NLI tasks.
- Abstract（参考訳）: コントラスト学習のような自己教師あり学習アプローチは自然言語処理において大きな注目を集めている。
トレーニングデータ拡張のペアを使用して、表現能力に優れたエンコーダの分類タスクを構築する。
しかし,nlpタスクでは,コントラスト学習よりも学習ペアの構築が非常に困難である。
先行研究は、単語レベルの変化を生成してペアを形成するが、小さな変換は、自然言語の離散的かつスパースな性質として文の意味に顕著な変化をもたらす可能性がある。
本論文では,NLPの組込み空間を学習ペアとして扱う上で,困難で困難な学習相手の例を生成するために,対角学習を行う。
コントラスト学習を用いることで、コントラスト損失がサンプル分布を均一にするため、相反訓練の一般化能力が向上する。
同時に、対人訓練は、対照的な学習の堅牢性を高める。
教師付きコントラスト学習(SCAL)と教師なしSCAL(USCAL)という2つの新しいフレームワークが提案され、コントラスト学習に対角的学習を利用することによって学習ペアを得る。
ラベルに基づく教師付きタスクの損失は、教師なしタスクが対照的な損失をもたらす一方で、敵の例を生成するために利用される。
提案手法の有効性を検証するために, 自然言語理解, 文意味の類似性, 逆学習タスクのためのトランスフォーマーモデルを用いた。
GLUEベンチマークタスクの実験結果から,細調整された教師付き手法がBERT$_{base}を1.75 %以上上回ることがわかった。
また,semantic textual similarity (sts)タスクに対する教師なし手法を評価し,bert$_{base}$で77.29\%を得た。
提案手法のロバスト性は,NLIタスク上の複数の逆数データセットの下で,最先端の処理結果を実行する。
関連論文リスト
- DenoSent: A Denoising Objective for Self-Supervised Sentence
Representation Learning [59.4644086610381]
本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。
離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。
我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
論文 参考訳（メタデータ） (2024-01-24T17:48:45Z) - SCAT: Robust Self-supervised Contrastive Learning via Adversarial
Training for Text Classification [15.932462099791307]
SCAT (Self-supervised Contrastive Learning via Adversarial Training) と呼ばれる新しい学習フレームワークを提案する。
SCATは、データのランダムな拡張をラベルのない方法で修正し、敵の例を生成する。
以上の結果から,SCATはスクラッチから頑健な言語モデルを訓練できるだけでなく,既存の事前学習言語モデルの堅牢性を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-07-04T05:41:31Z) - Improving Contrastive Learning of Sentence Embeddings from AI Feedback [43.56070504980024]
教師付きコントラスト学習は、人間のフィードバックラベルとより正確なサンプルペアを生成することができる。
提案手法は,大規模な事前学習言語モデルからのAIフィードバックを利用して,詳細なサンプル類似度スコアを持つサンプルペアを構築する。
実験結果から,本手法はいくつかの意味的テキスト類似性タスクにおいて,最先端の性能を実現することが示された。
論文 参考訳（メタデータ） (2023-05-03T06:26:13Z) - Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。
自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。
本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
論文 参考訳（メタデータ） (2023-03-02T07:44:06Z) - PointACL:Adversarial Contrastive Learning for Robust Point Clouds
Representation under Adversarial Attack [73.3371797787823]
逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。
本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。
提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
論文 参考訳（メタデータ） (2022-09-14T22:58:31Z) - Contrastive Instruction-Trajectory Learning for Vision-Language
Navigation [66.16980504844233]
視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。
先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。
本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-08T06:32:52Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳（メタデータ） (2021-09-22T10:47:51Z) - Adversarial Training with Contrastive Learning in NLP [0.0]
本稿では,言語処理タスクを逆学習するために,比較学習(ATCL)を用いた逆学習を提案する。
中心となる考え方は、高速勾配法(FGM)によって入力の埋め込み空間に線形摂動を生じさせ、元の表現と摂動表現を対照的な学習によって密に保つようモデルを訓練することである。
この結果から, 定量的(複雑度, BLEU) のスコアは, ベースラインに比べて向上しただけでなく, 両タスクのセマンティックレベルにおいても, 質的な結果が得られた。
論文 参考訳（メタデータ） (2021-09-19T07:23:45Z) - Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。
対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。
提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
論文 参考訳（メタデータ） (2021-06-07T15:29:14Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。