論文の概要: How Good Are SOTA Fake News Detectors
- arxiv url: http://arxiv.org/abs/2308.02727v1
- Date: Fri, 4 Aug 2023 22:14:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 19:08:52.617453
- Title: How Good Are SOTA Fake News Detectors
- Title(参考訳): SOTAフェイクニュース検知器はどんなものか
- Authors: Matthew Iceland
- Abstract要約: 我々は,従来の最先端モデルと深層モデルの両方の堅牢性を評価し,それらが現実世界でどれだけうまく機能するかを評価する。
従来のモデルは,最近開発された大規模言語モデルと比較して,トレーニング対象のディストリビューション外のデータに対して,より一般化する傾向にある。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic fake news detection with machine learning can prevent the
dissemination of false statements before they gain many views. Several datasets
labeling statements as legitimate or false have been created since the 2016
United States presidential election for the prospect of training machine
learning models. We evaluate the robustness of both traditional and deep
state-of-the-art models to gauge how well they may perform in the real world.
We find that traditional models tend to generalize better to data outside the
distribution it was trained on compared to more recently-developed large
language models, though the best model to use may depend on the specific task
at hand.
- Abstract(参考訳): 機械学習による偽ニュースの自動検出は、多くのビューを得る前に偽文の拡散を防ぐことができる。
2016年のアメリカ合衆国大統領選挙以降、機械学習モデルのトレーニングを想定して、ステートメントを正当あるいは虚偽と分類するデータセットがいくつか作成されている。
我々は,従来の最先端モデルと深層モデルの両方の堅牢性を評価し,それらの実世界における性能を評価する。
従来のモデルは、最近開発された大規模言語モデルと比較して、トレーニングされたディストリビューション外のデータに対して、より一般化する傾向があることが分かりました。
関連論文リスト
- FakeWatch: A Framework for Detecting Fake News to Ensure Credible Elections [5.15641542196944]
フェイクニュースを検出するために慎重に設計された包括的フレームワークであるFakeWatchを紹介する。
我々のフレームワークは、従来の機械学習(ML)技術と最先端言語モデル(LM)の両方からなるモデルハブを統合している。
本研究の目的は,選挙議題における偽ニュースの特定に有効な,適応的で正確な分類モデルを提供することである。
論文 参考訳(メタデータ) (2024-03-14T20:39:26Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - Improving Generalization for Multimodal Fake News Detection [8.595270610973586]
最先端のアプローチは通常、小さなサイズのデータセットや特定のトピックの限定セットでトレーニングされる。
本稿では,マルチモーダルフェイクニュース検出のために,最先端のマルチモーダルトランスを採用した3つのモデルを提案する。
論文 参考訳(メタデータ) (2023-05-29T20:32:22Z) - Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。
偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
論文 参考訳(メタデータ) (2023-01-31T20:09:33Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Generalizing to the Future: Mitigating Entity Bias in Fake News
Detection [30.493485490419403]
本稿では,偽ニュース検出モデルを将来のデータに一般化するエンティティ・デバイアス・フレームワーク(textbfENDEF)を提案する。
エンティティ,ニュースコンテンツ,ニュースの妥当性の因果グラフに基づいて,各原因の寄与を別々にモデル化する。
推論段階では、エンティティの直接効果を取り除き、エンティティバイアスを軽減する。
論文 参考訳(メタデータ) (2022-04-20T14:32:34Z) - Faking Fake News for Real Fake News Detection: Propaganda-loaded
Training Data Generation [105.20743048379387]
提案手法は,人間によるプロパガンダのスタイルや戦略から情報を得た学習例を生成するための新しいフレームワークである。
具体的には、生成した記事の有効性を確保するために、自然言語推論によって導かれる自己臨界シーケンストレーニングを行う。
実験の結果、PropaNewsでトレーニングされた偽ニュース検知器は、2つの公開データセットで3.62~7.69%のF1スコアで人書きの偽情報を検出するのに優れていることがわかった。
論文 参考訳(メタデータ) (2022-03-10T14:24:19Z) - Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。
クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。
将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
論文 参考訳(メタデータ) (2021-04-20T17:16:41Z) - Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake
News Detection [7.29381091750894]
偽ニュース検出のためのトランスフォーマーに基づく言語モデルの微調整手法を提案する。
まず、個々のモデルのトークン語彙を専門用語の実際の意味論のために拡張する。
最後に、普遍言語モデルRoBERTaとドメイン固有モデルCT-BERTによって抽出された予測特徴を、複数の層認識によって融合させ、微細で高レベルな特定の表現を統合する。
論文 参考訳(メタデータ) (2021-01-14T09:05:42Z) - Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。
私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
論文 参考訳(メタデータ) (2020-07-16T17:42:40Z) - To Transfer or Not to Transfer: Misclassification Attacks Against
Transfer Learned Text Classifiers [10.762008415887195]
本稿では,教師(公)モデルで学習した意図しない特徴を利用して,生徒(下流)モデルに対する敵対的な例を生成する新しい攻撃手法を提案する。
まず,文脈自由な単語レベルの埋め込みモデルを用いて学習した学生モデルに対して,新たな単語スコアベースの攻撃アルゴリズムを提案する。
次に、文脈対応BERTモデルを用いて訓練されたフェイクニュース検出タスクに対して、長さベースおよび文ベース誤分類攻撃を示す。
論文 参考訳(メタデータ) (2020-01-08T10:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。