論文の概要: Embracing Ambiguity: Shifting the Training Target of NLI Models

• arxiv url: http://arxiv.org/abs/2106.03020v1
• Date: Sun, 6 Jun 2021 03:18:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:16:47.338347
• Title: Embracing Ambiguity: Shifting the Training Target of NLI Models
• Title（参考訳）: 曖昧さを受け入れる:NLIモデルのトレーニングターゲットの転換
• Authors: Johannes Mario Meissner, Napat Thumwanit, Saku Sugawara, Akiko Aizawa
• Abstract要約: 自然言語推論(NLI)タスクにおけるアノテータのラベル分布を推定する学習オプションについて検討する。 このデータを微調整すると,ChaosNLIの発散スコアを低減できることが示され,言語的曖昧さを捉えるための第一歩として期待できる。
• 参考スコア（独自算出の注目度）: 21.153381668435145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Inference (NLI) datasets contain examples with highly ambiguous labels. While many research works do not pay much attention to this fact, several recent efforts have been made to acknowledge and embrace the existence of ambiguity, such as UNLI and ChaosNLI. In this paper, we explore the option of training directly on the estimated label distribution of the annotators in the NLI task, using a learning loss based on this ambiguity distribution instead of the gold-labels. We prepare AmbiNLI, a trial dataset obtained from readily available sources, and show it is possible to reduce ChaosNLI divergence scores when finetuning on this data, a promising first step towards learning how to capture linguistic ambiguity. Additionally, we show that training on the same amount of data but targeting the ambiguity distribution instead of gold-labels can result in models that achieve higher performance and learn better representations for downstream tasks.
• Abstract（参考訳）: 自然言語推論(nli)データセットは、高度にあいまいなラベルを持つ例を含んでいる。 多くの研究がこの事実にはあまり注意を払っていないが、UNLIやChaosNLIのような曖昧さの存在を認め、受け入れるための最近の試みがいくつか行われている。 本論文では,このあいまいさ分布に基づく学習損失を用いて,NLIタスクにおけるアノテータのラベル分布を推定して直接トレーニングするオプションについて検討する。 我々は,手軽に利用可能な情報源から得られる試行データセットであるAmbiNLIを作成し,このデータを微調整した場合にChaosNLIのばらつきスコアを低減することができることを示す。 さらに,同じ量のデータに対するトレーニングでは,ゴールドラベルではなくあいまいな分布を目標とすることで,より高いパフォーマンスを達成し,下流タスクの表現を学習できるモデルが得られることを示した。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Self-Knowledge Distillation for Learning Ambiguity [11.755814660833549]
  最近の言語モデルは、その正確さを考慮せずに単一のラベルを過度に予測することが多い。 本稿では,ラベル分布をより正確に学習できる新しい自己知識蒸留法を提案する。 本手法を多種多様なNLUベンチマークデータセットで検証し,実験結果から,より優れたラベル分布を生成する上での有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-14T05:11:32Z)
• Adaptive Integration of Partial Label Learning and Negative Learning for Enhanced Noisy Label Learning [23.847160480176697]
  我々はtextbfNPN というシンプルながら強力なアイデアを提案し,このアイデアは textbfNoisy ラベル学習に革命をもたらす。 我々はNLの全ての非候補ラベルを用いて信頼性の高い補完ラベルを生成し、間接的な監督を通じてモデルロバスト性を高める。 合成劣化データセットと実世界の雑音データセットの両方で実施された実験は、他のSOTA法と比較してNPNの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-15T03:06:19Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Learning with Partial Labels from Semi-supervised Perspective [28.735185883881172]
  部分ラベル学習(Partial Label、PL)とは、部分ラベル付きデータから学習するタスクである。 セミスーパーバイザード・パースペクティブ(PLSP)を用いた部分ラベル学習という新しいPL学習手法を提案する。 PLSPは、特に高いあいまいさレベルにおいて、既存のPLベースライン法よりも著しく優れている。
  論文  参考訳（メタデータ） (2022-11-24T15:12:16Z)
• Learning to Infer from Unlabeled Data: A Semi-supervised Learning Approach for Robust Natural Language Inference [47.293189105900524]
  自然言語推論(英: Natural Language Inference、NLI)は、一対の文(前提と仮説)の関係を、関係性、矛盾、意味的な独立性として予測することを目的としている。 近年、ディープラーニングモデルはNLIに有望なパフォーマンスを示しており、大規模で高価な人型アノテートデータセットに依存している。 半教師付き学習(SSL)は、トレーニングにラベルのないデータを活用することで、人間のアノテーションへの依存を減らすための一般的な手法である。
  論文  参考訳（メタデータ） (2022-11-05T20:34:08Z)
• Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
  自然言語推論のための生成型分類器(NLI)を提案する。 差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。 実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
  論文  参考訳（メタデータ） (2020-10-08T04:44:00Z)
• ESL: Entropy-guided Self-supervised Learning for Domain Adaptation in Semantic Segmentation [35.03150829133562]
  より正確な擬似ラベルを生成するための信頼性指標としてエントロピーを利用したエントロピー誘導型自己教師学習を提案する。 異なるUDAベンチマークでは、ESLは強いSSLベースラインを一貫して上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-15T18:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。