論文の概要: Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference

• arxiv url: http://arxiv.org/abs/2211.02971v1
• Date: Sat, 5 Nov 2022 20:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:45:48.620173
• Title: Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference
• Title（参考訳）: ラベルなしデータから推測する学習--ロバスト自然言語推論のための半教師あり学習アプローチ
• Authors: Mobashir Sadat, Cornelia Caragea
• Abstract要約: 自然言語推論(英: Natural Language Inference、NLI)は、一対の文(前提と仮説)の関係を、関係性、矛盾、意味的な独立性として予測することを目的としている。 近年、ディープラーニングモデルはNLIに有望なパフォーマンスを示しており、大規模で高価な人型アノテートデータセットに依存している。 半教師付き学習(SSL)は、トレーニングにラベルのないデータを活用することで、人間のアノテーションへの依存を減らすための一般的な手法である。
• 参考スコア（独自算出の注目度）: 47.293189105900524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Inference (NLI) or Recognizing Textual Entailment (RTE) aims at predicting the relation between a pair of sentences (premise and hypothesis) as entailment, contradiction or semantic independence. Although deep learning models have shown promising performance for NLI in recent years, they rely on large scale expensive human-annotated datasets. Semi-supervised learning (SSL) is a popular technique for reducing the reliance on human annotation by leveraging unlabeled data for training. However, despite its substantial success on single sentence classification tasks where the challenge in making use of unlabeled data is to assign "good enough" pseudo-labels, for NLI tasks, the nature of unlabeled data is more complex: one of the sentences in the pair (usually the hypothesis) along with the class label are missing from the data and require human annotations, which makes SSL for NLI more challenging. In this paper, we propose a novel way to incorporate unlabeled data in SSL for NLI where we use a conditional language model, BART to generate the hypotheses for the unlabeled sentences (used as premises). Our experiments show that our SSL framework successfully exploits unlabeled data and substantially improves the performance of four NLI datasets in low-resource settings. We release our code at: https://github.com/msadat3/SSL_for_NLI.
• Abstract（参考訳）: 自然言語推論(NLI、Recognizing Textual Entailment、RTE)は、一対の文(前提と仮説)の関係を、関係性、矛盾、意味的な独立性として予測することを目的としている。 近年、ディープラーニングモデルはNLIに有望なパフォーマンスを示しているが、それらは大規模で高価な人間注釈付きデータセットに依存している。 半教師付き学習(SSL)は、トレーニングにラベルのないデータを活用することで、人間のアノテーションへの依存を減らすための一般的な手法である。 しかしながら、NLIタスクにおいて、ラベルなしデータを使用する際の課題は、"十分な"擬似ラベルを割り当てることである単一文分類タスクにおいて、かなりの成功を収めているにもかかわらず、ラベルなしデータの性質はより複雑である。 本稿では, 条件付き言語モデルであるBARTを用いて, 未ラベル文(前提として使用される)の仮説を生成する, SSL for NLIにラベルなしデータを組み込む新しい手法を提案する。 実験の結果,SSLフレームワークはラベルのないデータをうまく活用し,低リソース環境での4つのNLIデータセットの性能を大幅に向上することがわかった。 私たちはコードをhttps://github.com/msadat3/ssl_for_nliでリリースします。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning [73.13448439554497]
  Semi-Supervised Learning (SSL) は、ラベル付きデータが極めて少ない豊富なラベル付きデータを活用する効果的な方法である。 ほとんどのSSLメソッドは、通常、異なるデータ変換間のインスタンス単位の一貫性に基づいている。 本研究では,2つのデータセット間の一貫した学習性能を確保するために,クロスシャープネス尺度を最小化するFlatMatchを提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:57:59Z)
• Rethinking Semi-supervised Learning with Language Models [33.70349754359132]
  半教師付き学習(SSL)は、モデル性能を改善するために非ラベルデータを有効に活用することを目的とした一般的な設定である。 自己学習(ST)とタスク適応事前学習(TAPT)の2つの手法がある。
  論文  参考訳（メタデータ） (2023-05-22T13:07:35Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• Robust Deep Semi-Supervised Learning: A Brief Introduction [63.09703308309176]
  半教師付き学習(SSL)は、ラベルが不十分なときにラベル付きデータを活用することにより、学習性能を向上させることを目的としている。 ディープモデルによるSSLは、標準ベンチマークタスクで成功したことが証明されている。 しかし、それらは現実世界のアプリケーションにおける様々な堅牢性に対する脅威に対して依然として脆弱である。
  論文  参考訳（メタデータ） (2022-02-12T04:16:41Z)
• Embracing Ambiguity: Shifting the Training Target of NLI Models [21.153381668435145]
  自然言語推論(NLI)タスクにおけるアノテータのラベル分布を推定する学習オプションについて検討する。 このデータを微調整すると,ChaosNLIの発散スコアを低減できることが示され,言語的曖昧さを捉えるための第一歩として期待できる。
  論文  参考訳（メタデータ） (2021-06-06T03:18:53Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。