論文の概要: Fake News Detectors are Biased against Texts Generated by Large Language Models

• arxiv url: http://arxiv.org/abs/2309.08674v1
• Date: Fri, 15 Sep 2023 18:04:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 20:04:06.995392
• Title: Fake News Detectors are Biased against Texts Generated by Large Language Models
• Title（参考訳）: フェイクニュース検出器は大規模言語モデルで生成されたテキストに対してバイアスを受ける
• Authors: Jinyan Su, Terry Yue Zhuo, Jonibek Mansurov, Di Wang, Preslav Nakov
• Abstract要約: フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。 本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 39.36284616311687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The spread of fake news has emerged as a critical challenge, undermining trust and posing threats to society. In the era of Large Language Models (LLMs), the capability to generate believable fake content has intensified these concerns. In this study, we present a novel paradigm to evaluate fake news detectors in scenarios involving both human-written and LLM-generated misinformation. Intriguingly, our findings reveal a significant bias in many existing detectors: they are more prone to flagging LLM-generated content as fake news while often misclassifying human-written fake news as genuine. This unexpected bias appears to arise from distinct linguistic patterns inherent to LLM outputs. To address this, we introduce a mitigation strategy that leverages adversarial training with LLM-paraphrased genuine news. The resulting model yielded marked improvements in detection accuracy for both human and LLM-generated news. To further catalyze research in this domain, we release two comprehensive datasets, \texttt{GossipCop++} and \texttt{PolitiFact++}, thus amalgamating human-validated articles with LLM-generated fake and real news.
• Abstract（参考訳）: 偽ニュースの拡散は、社会への信頼と脅威を損なう重要な課題として現れてきた。 大規模言語モデル(llm)の時代において、信じがたい偽コンテンツを生成する能力はこれらの懸念を強めた。 本研究では,人書きとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。 LLMが生成したコンテンツを偽ニュースとしてフラグ付けする傾向があり、人書きの偽ニュースを偽ニュースと誤分類することがしばしばある。 この予期せぬバイアスは、LLM出力に固有の異なる言語パターンから生じているように見える。 これに対処するために,llmパラフラスド・リアルニュースによる敵意トレーニングを活用した緩和戦略を提案する。 その結果、人間とLLMが生成したニュースの検出精度が大幅に向上した。 この領域の研究をさらに触媒するために、我々は2つの包括的なデータセット、 \texttt{gossipcop++} と \texttt{politifact++} をリリースした。

関連論文リスト

• The Reopening of Pandora's Box: Analyzing the Role of LLMs in the Evolving Battle Against AI-Generated Fake News [30.759761034237563]
  大規模言語モデル(LLM)は、大規模な偽ニュースを生成する。 LLMは実際のニュースを検出するのに人間よりも68%効果的である。 偽ニュース検出では、LLMと人間のパフォーマンスはいまだに同等である。
  論文  参考訳（メタデータ） (2024-10-25T01:58:29Z)
• From Deception to Detection: The Dual Roles of Large Language Models in Fake News [0.20482269513546458]
  フェイクニュースは、情報エコシステムと公衆信頼の整合性に重大な脅威をもたらす。 LLM(Large Language Models)の出現は、フェイクニュースとの戦いを変革する大きな可能性を秘めている。 本稿では,偽ニュースに効果的に対処する各種LLMの能力について検討する。
  論文  参考訳（メタデータ） (2024-09-25T22:57:29Z)
• LLM-GAN: Construct Generative Adversarial Network Through Large Language Models For Explainable Fake News Detection [34.984605500444324]
  大規模言語モデル(LLM)は、その強力な自然言語理解と説明生成能力で知られている。 LLMをジェネレータとインタクタにするためのプロンプト機構を利用した新しいフレームワーク LLM-GAN を提案する。 本結果は,LLM-GANが予測性能と説明品質の両方において有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-03T11:06:45Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Exploring the Deceptive Power of LLM-Generated Fake News: A Study of Real-World Detection Challenges [21.425647152424585]
  条件付き変分オートエンコーダライズプロンプト(VLPrompt)と呼ばれる強力なフェイクニュース攻撃手法を提案する。 現行のメソッドとは異なり、VLPromptはコンテキストコヒーレンスを維持しながら追加のデータ収集を不要にする。 さまざまな検出方法や新しい人間の研究指標を含む実験を行い,その性能をデータセット上で評価した。
  論文  参考訳（メタデータ） (2024-03-27T04:39:18Z)
• Adapting Fake News Detection to the Era of Large Language Models [48.5847914481222]
  我々は,機械による(言い換えられた)リアルニュース,機械生成のフェイクニュース,人書きのフェイクニュース,人書きのリアルニュースの相互作用について検討する。 我々の実験では、人書き記事のみに特化して訓練された検知器が、機械が生成したフェイクニュースを検出できる興味深いパターンを明らかにしましたが、その逆ではありません。
  論文  参考訳（メタデータ） (2023-11-02T08:39:45Z)
• Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News Detection [50.07850264495737]
  プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。 我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
  論文  参考訳（メタデータ） (2023-09-28T13:19:43Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation [105.20743048379387]
  提案手法は,人間によるプロパガンダのスタイルや戦略から情報を得た学習例を生成するための新しいフレームワークである。 具体的には、生成した記事の有効性を確保するために、自然言語推論によって導かれる自己臨界シーケンストレーニングを行う。 実験の結果、PropaNewsでトレーニングされた偽ニュース検知器は、2つの公開データセットで3.62～7.69%のF1スコアで人書きの偽情報を検出するのに優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-10T14:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。