論文の概要: Model Generalization on COVID-19 Fake News Detection
- arxiv url: http://arxiv.org/abs/2101.03841v1
- Date: Mon, 11 Jan 2021 12:23:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 14:50:15.301368
- Title: Model Generalization on COVID-19 Fake News Detection
- Title(参考訳): 新型コロナウイルスのフェイクニュース検出モデル
- Authors: Yejin Bang, Etsuko Ishii, Samuel Cahyawijaya, Ziwei Ji, Pascale Fung
- Abstract要約: CONSTRAINT 2021(FakeNews-19)で提案された偽ニュース検出タスクの堅牢なモデルの実現を目指す。
新型コロナの偽ニュースの2つのテストセットでモデルを評価します。
- 参考スコア(独自算出の注目度): 41.03093888315081
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Amid the pandemic COVID-19, the world is facing unprecedented infodemic with
the proliferation of both fake and real information. Considering the
problematic consequences that the COVID-19 fake-news have brought, the
scientific community has put effort to tackle it. To contribute to this fight
against the infodemic, we aim to achieve a robust model for the COVID-19
fake-news detection task proposed at CONSTRAINT 2021 (FakeNews-19) by taking
two separate approaches: 1) fine-tuning transformers based language models with
robust loss functions and 2) removing harmful training instances through
influence calculation. We further evaluate the robustness of our models by
evaluating on different COVID-19 misinformation test set (Tweets-19) to
understand model generalization ability. With the first approach, we achieve
98.13% for weighted F1 score (W-F1) for the shared task, whereas 38.18% W-F1 on
the Tweets-19 highest. On the contrary, by performing influence data cleansing,
our model with 99% cleansing percentage can achieve 54.33% W-F1 score on
Tweets-19 with a trade-off. By evaluating our models on two COVID-19 fake-news
test sets, we suggest the importance of model generalization ability in this
task to step forward to tackle the COVID-19 fake-news problem in online social
media platforms.
- Abstract(参考訳): 新型コロナウイルスのパンデミックが続く中、世界は偽情報と実情報の両方の拡散で前例のないインフォデミックに直面している。
新型コロナウイルス(COVID-19)の偽ニュースがもたらす問題の結果を考えると、科学界はそれに取り組む努力をしてきた。
このインフォデミックとの闘いに寄与するため,我々は制約2021(fakenews-19)で提案されたcovid-19フェイクニューズ検出タスクに対して,1)ロバストな損失関数を有するトランスフォーマーベースの言語モデル,2)影響計算による有害なトレーニングインスタンスの除去という2つのアプローチにより,堅牢なモデルの実現を目指している。
我々は、モデル一般化能力を理解するために、異なるCOVID-19誤情報テストセット(Tweets-19)で評価することで、モデルの堅牢性をさらに評価する。
最初のアプローチでは、共有タスクの重み付きF1スコア(W-F1)は98.13%、Tweets-19では38.18%である。
それとは対照的に、影響データのクリーニングを行うことで、当社の99%のクリーニングパーセンテージを持つモデルは、トレードオフのあるTweets-19で54.33%のW-F1スコアを達成することができる。
2つの偽ニューステストセットでモデルを評価することにより、オンラインソーシャルメディアプラットフォームにおける偽ニュース問題に対処するために、このタスクにおけるモデル一般化能力の重要性を示唆する。
関連論文リスト
- Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳(メタデータ) (2023-02-18T09:26:35Z) - Combat COVID-19 Infodemic Using Explainable Natural Language Processing
Models [15.782463163357976]
新型コロナの誤報対策として,DistilBERTとSHAPに基づく説明可能な自然言語処理モデルを提案する。
その結果は、新型コロナウイルスの誤報の検出と公衆の信頼向上に良い影響を与えました。
論文 参考訳(メタデータ) (2021-03-01T04:28:39Z) - A transformer based approach for fighting COVID-19 fake news [0.8793721044482612]
新型コロナウイルスは人類が最も技術的に進歩した歴史上初のパンデミックだ。
このウイルスに関する偽ニュースや誤報も人々に提供されており、いくつかの大きな問題を引き起こしている。
本研究の課題は「Constraint@AAAI2021 - COVID19 Fake News Detection in English」である。
論文 参考訳(メタデータ) (2021-01-28T14:43:42Z) - End-2-End COVID-19 Detection from Breath & Cough Audio [68.41471917650571]
クラウドソースのオーディオサンプルからエンドツーエンドのディープラーニングを使用してCOVID-19を診断する最初の試みを実証します。
本研究では, 人工深層ニューラルネットワークを用いて, 人工呼吸器から新型コロナを診断する新しいモデル戦略を提案する。
論文 参考訳(メタデータ) (2021-01-07T01:13:00Z) - g2tmn at Constraint@AAAI2021: Exploiting CT-BERT and Ensembling Learning
for COVID-19 Fake News Detection [0.0]
結果がConstraint@AAAI2021 Shared Task: COVID-19 Fake News Detection in Englishで発表されました。
本稿では,トランスフォーマーを用いた COVID-Twitter-BERT (CT-BERT) モデルのアンサンブルを用いたアプローチを提案する。
その結果,テストセットで98.69の重み付きF1スコアを達成した。
論文 参考訳(メタデータ) (2020-12-22T12:43:12Z) - To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。
本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-13T02:21:54Z) - Not-NUTs at W-NUT 2020 Task 2: A BERT-based System in Identifying
Informative COVID-19 English Tweets [0.0]
本稿では、英語のつぶやきを前提として、そのツイートがCOVID-19に関する情報的内容を持つかどうかを自動的に識別するモデルを提案する。
インフォメーションクラスにおけるF1スコアの約1%は、トップパフォーマンスチームによる結果にしか影響しない競争的な結果を達成しました。
論文 参考訳(メタデータ) (2020-09-14T15:49:16Z) - BANANA at WNUT-2020 Task 2: Identifying COVID-19 Information on Twitter
by Combining Deep Learning and Transfer Learning Models [0.0]
本稿では, WNUT-2020 Task 2: Identification of Informative COVID-19 English Tweetsについて述べる。
このタスクのデータセットには、人間によってラベル付けされた英語の1万のツイートが含まれている。
実験結果から, システム上でのインフォーマルラベルのF1は, テストセットで88.81%の精度で達成できたことが示唆された。
論文 参考訳(メタデータ) (2020-09-06T08:24:55Z) - Two Sides of the Same Coin: White-box and Black-box Attacks for Transfer
Learning [60.784641458579124]
ホワイトボックスFGSM攻撃によるモデルロバスト性を効果的に向上することを示す。
また,移動学習モデルに対するブラックボックス攻撃手法を提案する。
ホワイトボックス攻撃とブラックボックス攻撃の双方の効果を系統的に評価するために,ソースモデルからターゲットモデルへの変換可能性の評価手法を提案する。
論文 参考訳(メタデータ) (2020-08-25T15:04:32Z) - Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。
我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。
これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
論文 参考訳(メタデータ) (2020-08-08T03:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。