論文の概要: A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference

• arxiv url: http://arxiv.org/abs/2205.15550v1
• Date: Tue, 31 May 2022 05:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 01:49:41.280569
• Title: A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference
• Title（参考訳）: 低リソース自然言語推論のためのマルチレベル教師付きコントラスト学習フレームワーク
• Authors: Shu'ang Li, Xuming Hu, Li Lin, Aiwei Liu, Lijie Wen, Philip S. Yu
• Abstract要約: 自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 54.678516076366506
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Natural Language Inference (NLI) is a growingly essential task in natural language understanding, which requires inferring the relationship between the sentence pairs (premise and hypothesis). Recently, low-resource natural language inference has gained increasing attention, due to significant savings in manual annotation costs and a better fit with real-world scenarios. Existing works fail to characterize discriminative representations between different classes with limited training data, which may cause faults in label prediction. Here we propose a multi-level supervised contrastive learning framework named MultiSCL for low-resource natural language inference. MultiSCL leverages a sentence-level and pair-level contrastive learning objective to discriminate between different classes of sentence pairs by bringing those in one class together and pushing away those in different classes. MultiSCL adopts a data augmentation module that generates different views for input samples to better learn the latent representation. The pair-level representation is obtained from a cross attention module. We conduct extensive experiments on two public NLI datasets in low-resource settings, and the accuracy of MultiSCL exceeds other models by 3.1% on average. Moreover, our method outperforms the previous state-of-the-art method on cross-domain tasks of text classification.
• Abstract（参考訳）: 自然言語推論(英: Natural Language Inference, NLI)は、文対(前提と仮説)の関係を推論する必要がある自然言語理解において、ますます重要な課題である。 近年,手動アノテーションのコストが大幅に削減され,実世界のシナリオに適合するため,低リソースな自然言語推論が注目されている。 既存の研究は、ラベル予測の欠陥を引き起こす可能性のある限られたトレーニングデータを持つ異なるクラス間の差別表現を特徴付けることができない。 本稿では,低リソース自然言語推論のためのマルチsclという,マルチレベル教師付きコントラスト学習フレームワークを提案する。 MultiSCLは、文レベルとペアレベルのコントラスト学習の目的を利用して、1つのクラスにそれらをまとめて、異なるクラスにそれらをプッシュすることで、異なるクラスの文ペアを識別する。 multisclはデータ拡張モジュールを採用しており、入力サンプルの異なるビューを生成し、潜在表現をよりよく学習する。 対レベルの表現は、クロスアテンションモジュールから得られる。 低リソース環境で2つのパブリックNLIデータセットに対して広範な実験を行い、MultiSCLの精度は平均3.1%以上である。 さらに,本手法はテキスト分類のクロスドメインタスクにおいて,従来の最先端手法よりも優れていた。

関連論文リスト

• Constrained Multi-Layer Contrastive Learning for Implicit Discourse Relationship Recognition [9.644808110078833]
  我々は,教師付きコントラスト学習(CL)手法,ラベルとインスタンス中心のCLを適用し,表現学習を強化する。 PDTB 2.0 と PDTB 3.0 の実験結果から,本手法は多クラス分類とバイナリ分類の両方において,性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-09-07T17:55:41Z)
• Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
  我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。 我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
  論文  参考訳（メタデータ） (2023-06-02T23:04:19Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Multi-Level Contrastive Learning for Cross-Lingual Alignment [35.33431650608965]
  マルチリンガルBERT(mBERT)のような言語間事前学習モデルは、様々な言語間下流のNLPタスクにおいて大きな性能を発揮している。 本稿では,事前学習モデルの言語間能力の向上を図るために,マルチレベルコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-26T07:14:20Z)
• Pair-Level Supervised Contrastive Learning for Natural Language Inference [11.858875850000457]
  Pair-level Supervised Contrastive Learning approach (PairSCL)を提案する。 対照的な学習目的は、1つのクラスでそれらをまとめて、他のクラスでペアを分割することで、文対の様々なクラスを区別するように設計されている。 NLIの2つの公開データセット上でPairSCLの評価を行い、PairSCLの精度は平均2.1%向上した。
  論文  参考訳（メタデータ） (2022-01-26T13:34:52Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。