論文の概要: Using Two Losses and Two Datasets Simultaneously to Improve TempoWiC Accuracy

• arxiv url: http://arxiv.org/abs/2212.07669v1
• Date: Thu, 15 Dec 2022 08:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 15:47:24.469605
• Title: Using Two Losses and Two Datasets Simultaneously to Improve TempoWiC Accuracy
• Title（参考訳）: 2つの損失と2つのデータセットの同時利用によるTempoWiCの精度向上
• Authors: Mohammad Javad Pirhadi, Motahhare Mirzaei, Sauleh Eetemadi
• Abstract要約: WSD(Word Sense Disambiguation)は、単語のどの感覚が文または他のテキストセグメントで意味されているかを特定するタスクである。 同時に2つの異なる損失を使用して、RoBERTaベースの分類モデルをトレーニングする。 私たちの最高の設定は、最高のベースラインを4.23%上回り、74.56%のマクロF1に到達します。
• 参考スコア（独自算出の注目度）: 0.08594140167290097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: WSD (Word Sense Disambiguation) is the task of identifying which sense of a word is meant in a sentence or other segment of text. Researchers have worked on this task (e.g. Pustejovsky, 2002) for years but it's still a challenging one even for SOTA (state-of-the-art) LMs (language models). The new dataset, TempoWiC introduced by Loureiro et al. (2022b) focuses on the fact that words change over time. Their best baseline achieves 70.33% macro-F1. In this work, we use two different losses simultaneously to train RoBERTa-based classification models. We also improve our model by using another similar dataset to generalize better. Our best configuration beats their best baseline by 4.23% and reaches 74.56% macroF1.
• Abstract（参考訳）: WSD(Word Sense Disambiguation)は、単語のどの感覚が文または他のテキストセグメントで意味されているかを特定するタスクである。 研究者はこの作業に何年も取り組んできた(例:pustejovsky, 2002)が、SOTA (state-of-the-art) LM (Language model) でさえも難しい作業である。 loureiroら(2022b)が導入した新しいデータセットは、単語が時間とともに変化するという事実に焦点を当てている。 最高基準値は70.33%マクロf1である。 本研究では,RoBERTaに基づく分類モデルのトレーニングに2つの異なる損失を同時に使用する。 また、他の類似したデータセットを使ってより一般化することで、モデルを改善します。 私たちの最高の構成は、最高のベースラインを4.23%上回り、74.56%のマクロf1に達します。

関連論文リスト

• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Prediction Model For Wordle Game Results With High Robustness [0.0]
  本研究では,データ解析と機械学習を用いたWordleのダイナミクスに焦点を当てた。 単語の難易度を予測するために、私たちはバックプロパゲーションニューラルネットワークを採用し、機能工学によるオーバーフィッティングを克服した。 以上の結果から,2023年3月1日に約12,884件の結果が提出され,平均4.8回試みられ,最も難易度の高いクラスタに落下することが示唆された。
  論文  参考訳（メタデータ） (2023-09-25T16:10:35Z)
• Unify word-level and span-level tasks: NJUNLP's Participation for the WMT2023 Quality Estimation Shared Task [59.46906545506715]
  我々は、WMT 2023 Quality Estimation (QE)共有タスクにNJUNLPチームを紹介する。 私たちのチームは2つのサブタスクすべてで英語とドイツ語のペアの予測を提出しました。 我々のモデルは、単語レベルと細粒度エラースパン検出サブタスクの両方において、英語とドイツ語で最高の結果を得た。
  論文  参考訳（メタデータ） (2023-09-23T01:52:14Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• T5 for Hate Speech, Augmented Data and Ensemble [1.3445335428144554]
  我々は6つのデータセットの11のサブタスクに対して、異なる最先端(SoTA)ベースラインを使用して自動ヘイトスピーチ(HS)検出を行う。 我々のモチベーションは、最近のSoTAモデルのうちどれが、自動ヘイトスピーチ検出に最適なのか、データ拡張やアンサンブルのような利点のある方法が、もしあれば、最良のモデルに何があるかを決定することです。
  論文  参考訳（メタデータ） (2022-10-11T14:32:39Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• HaT5: Hate Language Identification using Text-to-Text Transfer Transformer [1.2532400738980594]
  比較的多様な2つのデータセットから5つのタスクにまたがる最先端技術(SoTA)アーキテクチャT5の性能について検討する。 性能向上のために,自己回帰モデルを用いてトレーニングデータを増強する。 サンプルの小さなセットを使用することで、データアノテーションが貧弱であることの難しさを明らかにします。
  論文  参考訳（メタデータ） (2022-02-11T15:21:27Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation using Augmented Data, Signals, and Transformers [1.869621561196521]
  我々はSemEval 2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) の解法を提案する。 目的は、両方の文に共通する単語が同じ意味を引き起こすかどうかを検出することである。 多言語とクロスリンガルの両方の設定のためのシステムを提出します。
  論文  参考訳（メタデータ） (2021-04-04T08:49:28Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)
• Deep Entity Matching with Pre-Trained Language Models [26.482687858579844]
  Dittoは、事前訓練されたTransformerベースの言語モデルに基づく新しいエンティティマッチングシステムである。 我々の実験により、Dittoはマッチング品質を著しく改善し、従来のSOTA(State-of-the-art)よりも優れていることが示された。 実世界の大規模EMタスクにおけるDittoの有効性を実証する。
  論文  参考訳（メタデータ） (2020-04-01T17:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。