論文の概要: Fake News Detectors are Biased against Texts Generated by Large Language
Models
- arxiv url: http://arxiv.org/abs/2309.08674v1
- Date: Fri, 15 Sep 2023 18:04:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 20:04:06.995392
- Title: Fake News Detectors are Biased against Texts Generated by Large Language
Models
- Title(参考訳): フェイクニュース検出器は大規模言語モデルで生成されたテキストに対してバイアスを受ける
- Authors: Jinyan Su, Terry Yue Zhuo, Jonibek Mansurov, Di Wang, Preslav Nakov
- Abstract要約: フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。
本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
- 参考スコア(独自算出の注目度): 39.36284616311687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The spread of fake news has emerged as a critical challenge, undermining
trust and posing threats to society. In the era of Large Language Models
(LLMs), the capability to generate believable fake content has intensified
these concerns. In this study, we present a novel paradigm to evaluate fake
news detectors in scenarios involving both human-written and LLM-generated
misinformation. Intriguingly, our findings reveal a significant bias in many
existing detectors: they are more prone to flagging LLM-generated content as
fake news while often misclassifying human-written fake news as genuine. This
unexpected bias appears to arise from distinct linguistic patterns inherent to
LLM outputs. To address this, we introduce a mitigation strategy that leverages
adversarial training with LLM-paraphrased genuine news. The resulting model
yielded marked improvements in detection accuracy for both human and
LLM-generated news. To further catalyze research in this domain, we release two
comprehensive datasets, \texttt{GossipCop++} and \texttt{PolitiFact++}, thus
amalgamating human-validated articles with LLM-generated fake and real news.
- Abstract(参考訳): 偽ニュースの拡散は、社会への信頼と脅威を損なう重要な課題として現れてきた。
大規模言語モデル(llm)の時代において、信じがたい偽コンテンツを生成する能力はこれらの懸念を強めた。
本研究では,人書きとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
LLMが生成したコンテンツを偽ニュースとしてフラグ付けする傾向があり、人書きの偽ニュースを偽ニュースと誤分類することがしばしばある。
この予期せぬバイアスは、LLM出力に固有の異なる言語パターンから生じているように見える。
これに対処するために,llmパラフラスド・リアルニュースによる敵意トレーニングを活用した緩和戦略を提案する。
その結果、人間とLLMが生成したニュースの検出精度が大幅に向上した。
この領域の研究をさらに触媒するために、我々は2つの包括的なデータセット、 \texttt{gossipcop++} と \texttt{politifact++} をリリースした。
関連論文リスト
- A Revisit of Fake News Dataset with Augmented Fact-checking by ChatGPT [8.363702038073814]
既存の偽ニュース検出データセットは、人間のジャーナリストから提供されています。
本稿では,人間のジャーナリストが検証した既存の偽ニュースデータセットを再検討し,大規模言語モデルによるファクトチェックの強化を行った。
論文 参考訳(メタデータ) (2023-12-19T05:46:11Z) - Disinformation Capabilities of Large Language Models [0.564232659769944]
本稿では,現在世代の大言語モデル(LLM)の非情報化能力について述べる。
20個の偽情報物語を用いた10個のLDMの能力評価を行った。
LLMは、危険な偽情報の物語に一致する説得力のあるニュース記事を生成することができると結論付けている。
論文 参考訳(メタデータ) (2023-11-15T10:25:30Z) - Adapting Fake News Detection to the Era of Large Language Models [54.60443666911077]
我々は,機械による(言い換えられた)リアルニュース,機械生成のフェイクニュース,人書きのフェイクニュース,人書きのリアルニュースの相互作用について検討する。
我々の実験では、人書き記事のみに特化して訓練された検知器が、機械が生成したフェイクニュースを検出できる興味深いパターンを明らかにしましたが、その逆ではありません。
論文 参考訳(メタデータ) (2023-11-02T08:39:45Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News
Detection [50.07850264495737]
プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。
我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
論文 参考訳(メタデータ) (2023-09-28T13:19:43Z) - Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。
偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
論文 参考訳(メタデータ) (2022-11-25T18:24:17Z) - A Multi-Policy Framework for Deep Learning-Based Fake News Detection [0.31498833540989407]
フェイクニュース検出を自動化するフレームワークであるMPSC(Multi-Policy Statement Checker)を導入する。
MPSCは、深層学習技術を用いて、文自体とその関連するニュース記事を分析し、それが信頼できるか疑わしいかを予測する。
論文 参考訳(メタデータ) (2022-06-01T21:25:21Z) - Faking Fake News for Real Fake News Detection: Propaganda-loaded
Training Data Generation [105.20743048379387]
提案手法は,人間によるプロパガンダのスタイルや戦略から情報を得た学習例を生成するための新しいフレームワークである。
具体的には、生成した記事の有効性を確保するために、自然言語推論によって導かれる自己臨界シーケンストレーニングを行う。
実験の結果、PropaNewsでトレーニングされた偽ニュース検知器は、2つの公開データセットで3.62~7.69%のF1スコアで人書きの偽情報を検出するのに優れていることがわかった。
論文 参考訳(メタデータ) (2022-03-10T14:24:19Z) - Explainable Tsetlin Machine framework for fake news detection with
credibility score assessment [16.457778420360537]
本稿では,最近導入されたTsetlin Machine (TM) に基づく,新たな解釈可能な偽ニュース検出フレームワークを提案する。
我々は、TMの接続節を用いて、真偽のニューステキストの語彙的および意味的特性をキャプチャする。
評価のために、PolitiFactとGossipCopという2つの公開データセットで実験を行い、TMフレームワークが以前公開されたベースラインを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2021-05-19T13:18:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。