Fugu-MT 論文翻訳(概要): NutCracker at WNUT-2020 Task 2: Robustly Identifying Informative COVID-19 Tweets using Ensembling and Adversarial Training

論文の概要: NutCracker at WNUT-2020 Task 2: Robustly Identifying Informative COVID-19 Tweets using Ensembling and Adversarial Training

arxiv url: http://arxiv.org/abs/2010.04335v1
Date: Fri, 9 Oct 2020 02:46:51 GMT
ステータス: 処理完了
システム内更新日: 2022-10-09 04:57:49.883655
Title: NutCracker at WNUT-2020 Task 2: Robustly Identifying Informative COVID-19 Tweets using Ensembling and Adversarial Training
Title（参考訳）: WNUT-2020 Task 2: Ensembling and Adversarial Training を用いた Informative COVID-19 ツイートのロバスト同定
Authors: Priyanshu Kumar and Aadarsh Singh
Abstract要約: 我々は、新型コロナウイルスのツイートを識別するために、COVID-Twitter-BERTとRoBERTaモデルを実験した。 COVID-Twitter-BERTとRoBERTaのアンサンブルは、WNUT-2020 Task 2のテストデータから0.9096のF1スコアを取得し、リーダーボードで1位となった。
参考スコア（独自算出の注目度）: 6.85316573653194
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We experiment with COVID-Twitter-BERT and RoBERTa models to identify informative COVID-19 tweets. We further experiment with adversarial training to make our models robust. The ensemble of COVID-Twitter-BERT and RoBERTa obtains a F1-score of 0.9096 (on the positive class) on the test data of WNUT-2020 Task 2 and ranks 1st on the leaderboard. The ensemble of the models trained using adversarial training also produces similar result.
Abstract（参考訳）: 我々は、新型コロナウイルスのツイートを識別するために、COVID-Twitter-BERTとRoBERTaモデルを実験した。さらに、モデルを堅牢にするために、敵のトレーニングを実験します。 COVID-Twitter-BERTとRoBERTaのアンサンブルは、WNUT-2020 Task 2のテストデータから0.9096のF1スコアを取得し、リーダーボードで1位となった。敵対的訓練を用いて訓練されたモデルのアンサンブルも同様の結果をもたらす。

関連論文リスト

Arena Learning: Build Data Flywheel for LLMs Post-training via Simulated Chatbot Arena [126.70522244144088]
AI駆動のアノテーションを使ってアリーナの戦いをシミュレートするために設計された、革新的なオフライン戦略であるArena Learningを紹介します。 Arena Learningは、オフラインシミュレーションとオンラインコンペティションの正確な評価と一貫性を保証する。ターゲットモデルであるWizardLM-$beta$をトレーニングするためにArena Learningを適用し、大幅なパフォーマンス向上を示します。
論文参考訳（メタデータ） (2024-07-15T11:26:07Z)
ThangDLU at #SMM4H 2024: Encoder-decoder models for classifying text data on social disorders in children and adolescents [49.00494558898933]
本稿では,#SMM4H (Social Media Mining for Health) 2024 Workshopのタスク3とタスク5への参加について述べる。タスク3は、屋外環境が社会不安の症状に与える影響を議論するツイートを中心にした多クラス分類タスクである。タスク5は、子供の医学的障害を報告しているツイートに焦点を当てたバイナリ分類タスクを含む。 BART-baseやT5-smallのような事前訓練されたエンコーダデコーダモデルからの転送学習を適用し、与えられたツイートの集合のラベルを同定した。
論文参考訳（メタデータ） (2024-04-30T17:06:20Z)
Outlier Robust Adversarial Training [57.06824365801612]
本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
論文参考訳（メタデータ） (2023-09-10T21:36:38Z)
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文参考訳（メタデータ） (2023-02-18T09:26:35Z)
Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
論文参考訳（メタデータ） (2021-12-09T15:59:42Z)
Detection of COVID-19 informative tweets using RoBERTa [5.564705758320338]
我々は,2020年のW-NUTワークショップの一環として,RoBERTaモデルを用いて,情報発信型Covid-19英語のつぶやきを検出する作業について紹介する。 F1スコアが0.89、リーダーボードが0.87である公開データセット上で、我々のモデルの有効性を示す。
論文参考訳（メタデータ） (2020-10-21T18:43:13Z)
CIA_NITT at WNUT-2020 Task 2: Classification of COVID-19 Tweets Using Pre-trained Language Models [0.0]
我々はこれをバイナリテキスト分類問題として扱い、事前訓練された言語モデルを用いて実験する。我々はCT-BERTをベースとしたF1スコアを88.7%、CT-BERT、RoBERTa、SVMのアンサンブルであるF1スコアを88.52%とする。
論文参考訳（メタデータ） (2020-09-12T12:59:54Z)
LynyrdSkynyrd at WNUT-2020 Task 2: Semi-Supervised Learning for Identification of Informative COVID-19 English Tweets [4.361526134899725]
本稿では,WNUT-2020における情報発信型英語ツイートの識別に関する共有タスクについて述べる。本システムは,従来の特徴量に基づく分類と,事前学習型言語モデルの最近の進歩を活かした,さまざまな機械学習手法のアンサンブルである。我々の最高の性能モデルは、提供された検証セットのF1スコア0.9179、ブラインドテストセットの0.8805を達成する。
論文参考訳（メタデータ） (2020-09-08T16:29:25Z)
UIT-HSE at WNUT-2020 Task 2: Exploiting CT-BERT for Identifying COVID-19 Information on the Twitter Social Network [2.7528170226206443]
本稿では,W-NUT 2020 Shared Task 2: Identification of Informative COVID-19 English Tweets。我々は,様々な微調整技術を用いた COVID-Twitter-BERT (CT-BERT) に基づくトランスフォーマーモデルを用いた簡易かつ効果的なアプローチを提案する。その結果、F1スコアの90.94%を達成し、このタスクのリーダーボードで3位となり、合計56チームが参加した。
論文参考訳（メタデータ） (2020-09-07T08:20:31Z)
BANANA at WNUT-2020 Task 2: Identifying COVID-19 Information on Twitter by Combining Deep Learning and Transfer Learning Models [0.0]
本稿では, WNUT-2020 Task 2: Identification of Informative COVID-19 English Tweetsについて述べる。このタスクのデータセットには、人間によってラベル付けされた英語の1万のツイートが含まれている。実験結果から, システム上でのインフォーマルラベルのF1は, テストセットで88.81%の精度で達成できたことが示唆された。
論文参考訳（メタデータ） (2020-09-06T08:24:55Z)
Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
論文参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。