論文の概要: Exploring Generalizability of Fine-Tuned Models for Fake News Detection

• arxiv url: http://arxiv.org/abs/2205.07154v1
• Date: Sun, 15 May 2022 00:00:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 10:37:20.860683
• Title: Exploring Generalizability of Fine-Tuned Models for Fake News Detection
• Title（参考訳）: 偽ニュース検出のための微調整モデルの一般化可能性の検討
• Authors: Abhijit Suprem, Calton Pu
• Abstract要約: 新型コロナウイルスのパンデミックは、CDCとWHOによる「インフォデミック」という危険な誤報の劇的かつ同時的な増加を引き起こしている。 Covid-19インフォデミックに関連付けられた誤報は、コンセプトドリフトによる微調整モデルの性能低下につながる可能性がある。 本稿では,9つの偽ニュースデータセットに対して,事前学習および微調整を行った偽ニュース検知器の一般化可能性について検討する。
• 参考スコア（独自算出の注目度）: 3.210653757360955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Covid-19 pandemic has caused a dramatic and parallel rise in dangerous misinformation, denoted an `infodemic' by the CDC and WHO. Misinformation tied to the Covid-19 infodemic changes continuously; this can lead to performance degradation of fine-tuned models due to concept drift. Degredation can be mitigated if models generalize well-enough to capture some cyclical aspects of drifted data. In this paper, we explore generalizability of pre-trained and fine-tuned fake news detectors across 9 fake news datasets. We show that existing models often overfit on their training dataset and have poor performance on unseen data. However, on some subsets of unseen data that overlap with training data, models have higher accuracy. Based on this observation, we also present KMeans-Proxy, a fast and effective method based on K-Means clustering for quickly identifying these overlapping subsets of unseen data. KMeans-Proxy improves generalizability on unseen fake news datasets by 0.1-0.2 f1-points across datasets. We present both our generalizability experiments as well as KMeans-Proxy to further research in tackling the fake news problem.
• Abstract（参考訳）: 新型コロナウイルス(covid-19)のパンデミックは、cdcとwhoによる「情報デミック」と称される危険な誤情報の劇的かつ並行的な増加を引き起こした。 Covid-19インフォデミックに関連付けられた誤報は、コンセプトドリフトによる微調整モデルの性能低下につながる可能性がある。 モデルが十分に一般化してドリフトデータの循環的な側面を捉えると、デグレデーションは緩和される。 本稿では、9つの偽ニュースデータセットにまたがる事前学習および微調整された偽ニュース検出器の一般化可能性について検討する。 既存のモデルはトレーニングデータセットに過度に適合し、目に見えないデータではパフォーマンスが低いことがよく示されます。 しかし、トレーニングデータと重複する見えないデータのサブセットでは、モデルの方が精度が高い。 そこで本研究では,k-meansクラスタリングに基づく高速かつ効果的な手法であるkmeans-proxyを用いて,これらの重複部分集合を高速に同定する手法を提案する。 KMeans-Proxyは、データセット間で0.1-0.2 f1ポイントの偽ニュースデータセットの一般化性を改善する。 我々は、フェイクニュース問題に取り組むために、一般化可能性実験とKMeans-Proxyの両方を提示する。

関連論文リスト

• Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
  ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。 混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。 UE識別のための反復フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T13:26:13Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Improving Generalization for Multimodal Fake News Detection [8.595270610973586]
  最先端のアプローチは通常、小さなサイズのデータセットや特定のトピックの限定セットでトレーニングされる。 本稿では,マルチモーダルフェイクニュース検出のために,最先端のマルチモーダルトランスを採用した3つのモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-29T20:32:22Z)
• MRCLens: an MRC Dataset Bias Detection Toolkit [82.44296974850639]
  MRCLensは,ユーザがフルモデルをトレーニングする前に,バイアスが存在するかどうかを検出するツールキットである。 ツールキットの導入の便宜のために,MDCにおける共通バイアスの分類も提供する。
  論文  参考訳（メタデータ） (2022-07-18T21:05:39Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Testing the Generalization of Neural Language Models for COVID-19 Misinformation Detection [6.1204874238049705]
  新型コロナウイルス(COVID-19)のパンデミックの副産物として、生命を脅かす可能性のある誤報が大幅に増加した。 5つの誤報データセットを用いてトランスフォーマーに基づく15のモデルを評価する。 新型コロナウイルス(COVID-19)データに合わせたトークンやモデルは、汎用データに対して大きな優位性を提供していない。
  論文  参考訳（メタデータ） (2021-11-15T15:01:55Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)
• Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection [7.29381091750894]
  偽ニュース検出のためのトランスフォーマーに基づく言語モデルの微調整手法を提案する。 まず、個々のモデルのトークン語彙を専門用語の実際の意味論のために拡張する。 最後に、普遍言語モデルRoBERTaとドメイン固有モデルCT-BERTによって抽出された予測特徴を、複数の層認識によって融合させ、微細で高レベルな特定の表現を統合する。
  論文  参考訳（メタデータ） (2021-01-14T09:05:42Z)
• Deep k-NN for Noisy Labels [55.97221021252733]
  予備モデルのロジット層上での単純な$k$-nearest近傍フィルタリング手法により、ラベルの誤りを除去し、最近提案された多くの手法よりも正確なモデルを生成することができることを示す。
  論文  参考訳（メタデータ） (2020-04-26T05:15:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。