論文の概要: A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives

• arxiv url: http://arxiv.org/abs/2102.12982v1
• Date: Thu, 25 Feb 2021 16:35:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-26 14:06:26.956167
• Title: A Primer on Contrastive Pretraining in Language Processing: Methods, Lessons Learned and Perspectives
• Title（参考訳）: 言語処理におけるコントラスト前訓練のプライマー:方法、教訓、展望
• Authors: Nils Rethmeier and Isabelle Augenstein
• Abstract要約: 最近の自己監督型および監督型対照型NLP前訓練法について述べる。 アプリケーションによる先行研究や構造ワークから学んだことと、主要なコントラスト学習の概念を紹介します。 コントラストNLPの課題と今後の方向性は,画像表現事前学習の成功に近づいたコントラストNLPの事前学習を促進することにある。
• 参考スコア（独自算出の注目度）: 22.933794444266596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern natural language processing (NLP) methods employ self-supervised pretraining objectives such as masked language modeling to boost the performance of various application tasks. These pretraining methods are frequently extended with recurrence, adversarial or linguistic property masking, and more recently with contrastive learning objectives. Contrastive self-supervised training objectives enabled recent successes in image representation pretraining by learning to contrast input-input pairs of augmented images as either similar or dissimilar. However, in NLP, automated creation of text input augmentations is still very challenging because a single token can invert the meaning of a sentence. For this reason, some contrastive NLP pretraining methods contrast over input-label pairs, rather than over input-input pairs, using methods from Metric Learning and Energy Based Models. In this survey, we summarize recent self-supervised and supervised contrastive NLP pretraining methods and describe where they are used to improve language modeling, few or zero-shot learning, pretraining data-efficiency and specific NLP end-tasks. We introduce key contrastive learning concepts with lessons learned from prior research and structure works by applications and cross-field relations. Finally, we point to open challenges and future directions for contrastive NLP to encourage bringing contrastive NLP pretraining closer to recent successes in image representation pretraining.
• Abstract（参考訳）: 現代の自然言語処理(NLP)メソッドは、マスキング言語モデリングなどの自己監督の事前学習目標を使用して、さまざまなアプリケーションタスクのパフォーマンスを高めます。 これらの事前訓練方法は、再発、敵対的または言語的特性のマスキング、および最近では対照的な学習目的によって頻繁に拡張される。 対照的な自己教師付きトレーニング目標により、拡張画像の入力入力対を類似または類似点としてコントラストさせることで、画像表現事前学習における最近の成功を実現した。 しかし、NLPでは、単一のトークンが文の意味を逆転できるため、テキスト入力拡張の自動生成は依然として非常に難しい。 このため、いくつかの対照的なNLP事前学習法は、メトリックラーニングとエネルギーベースモデルによる手法を用いて、入力-入力ペアよりも入力-ラベルペアの方が対照的である。 本稿では,最近の自己指導型・教師型コントラスト型NLP事前学習手法を要約し,言語モデリング,ほとんどあるいはゼロショット学習,データ効率の事前訓練,特定のNLP終末タスクの実施方法について述べる。 アプリケーションとクロスフィールドリレーションによる先行研究と構造ワークから学んだことと、主要なコントラスト学習の概念を紹介します。 最後に、コントラストNLPの課題と今後の方向性を指摘し、コントラストNLPの事前訓練を画像表現事前訓練の成功に近づけることを推奨する。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Assessing Phrase Break of ESL Speech with Pre-trained Language Models and Large Language Models [7.782346535009883]
  本研究では,事前学習言語モデル (PLM) と大規模言語モデル (LLM) を用いて,ESL学習者の音声における句分割の評価手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:10:39Z)
• Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
  談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。 自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T19:00:33Z)
• Generative Negative Text Replay for Continual Vision-Language Pretraining [95.2784858069843]
  視覚言語による事前学習が近年注目を集めている。 大量のデータは、通常ストリーミング形式で収集される。 本稿では,画像とテキスト間のマルチモーダルな知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T13:42:21Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• Adversarial Training with Contrastive Learning in NLP [0.0]
  本稿では,言語処理タスクを逆学習するために,比較学習(ATCL)を用いた逆学習を提案する。 中心となる考え方は、高速勾配法(FGM)によって入力の埋め込み空間に線形摂動を生じさせ、元の表現と摂動表現を対照的な学習によって密に保つようモデルを訓練することである。 この結果から, 定量的(複雑度, BLEU) のスコアは, ベースラインに比べて向上しただけでなく, 両タスクのセマンティックレベルにおいても, 質的な結果が得られた。
  論文  参考訳（メタデータ） (2021-09-19T07:23:45Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。