論文の概要: Fake News Detection After LLM Laundering: Measurement and Explanation

• arxiv url: http://arxiv.org/abs/2501.18649v1
• Date: Wed, 29 Jan 2025 17:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:59.064784
• Title: Fake News Detection After LLM Laundering: Measurement and Explanation
• Title（参考訳）: LLM洗浄後のフェイクニュース検出:測定と説明
• Authors: Rupak Kumar Das, Jonathan Dodge,
• Abstract要約: 大規模言語モデル(LLM)は、非常に説得力が高く、文脈的に関係のある偽ニュースを生成する。 本研究は, LLMをパラフレージングした偽ニュースを識別するための検出器の有効性を計測する。
• 参考スコア（独自算出の注目度）: 0.7661534297488013
• License:
• Abstract: With their advanced capabilities, Large Language Models (LLMs) can generate highly convincing and contextually relevant fake news, which can contribute to disseminating misinformation. Though there is much research on fake news detection for human-written text, the field of detecting LLM-generated fake news is still under-explored. This research measures the efficacy of detectors in identifying LLM-paraphrased fake news, in particular, determining whether adding a paraphrase step in the detection pipeline helps or impedes detection. This study contributes: (1) Detectors struggle to detect LLM-paraphrased fake news more than human-written text, (2) We find which models excel at which tasks (evading detection, paraphrasing to evade detection, and paraphrasing for semantic similarity). (3) Via LIME explanations, we discovered a possible reason for detection failures: sentiment shift. (4) We discover a worrisome trend for paraphrase quality measurement: samples that exhibit sentiment shift despite a high BERTSCORE. (5) We provide a pair of datasets augmenting existing datasets with paraphrase outputs and scores. The dataset is available on GitHub
• Abstract（参考訳）: 高度な機能によって、LLM(Large Language Models)は、非常に説得力が高く、文脈的に関係のある偽ニュースを生成することができ、誤報の拡散に寄与する。 人文テキストの偽ニュース検出には多くの研究があるが、LLM生成の偽ニュースを検出する分野はまだ未調査である。 本研究は,LLMをパラフレーズ化した偽ニュースを識別するための検出器の有効性を計測し,特に,検出パイプラインにパラフレーズを付加することで検出が困難になるか否かを判定する。 本研究は,(1) 検出者が人間の文章よりもLDMで表現された偽ニュースを検出するのに苦慮していること,(2) タスク(検出の回避,検出の回避,意味的類似性のための言い換え,など)がどのモデルに優れているかを明らかにする。 (3) LIMEの説明から, 障害検出の可能性が示唆された: 感情変化。 (4) 高いBERTSCOREにもかかわらず, 感情変化を示すサンプルとして, パラフレーズ品質測定の厄介な傾向がみられた。 (5) 既存のデータセットにパラフレーズ出力とスコアを付加したデータセットのペアを提供する。 データセットはGitHubで入手できる

関連論文リスト

• TextSleuth: Towards Explainable Tampered Text Detection [49.88698441048043]
  本稿では,大規模なマルチモーダルモデルを用いて,自然言語による改ざんテキスト検出の基礎を説明する。 このタスクのデータギャップを埋めるため,大規模な包括的データセットETTDを提案する。 GPT4oで高品質な異常記述を生成するために、共同クエリが導入された。 低品質なアノテーションを自動的にフィルタリングするために、GPT4oに改ざんされたテキストを認識するよう促すことも提案する。
  論文  参考訳（メタデータ） (2024-12-19T13:10:03Z)
• Real-time Fake News from Adversarial Feedback [11.742257531343814]
  フェイクニュース検出のための既存の評価は、LCMベースの検出器の時間経過とともに高い精度をもたらす。 我々は、RAGベースの検出器からの自然言語フィードバックを利用して、リアルタイムニュースを偽ニュースに反復的に修正する新しいパイプラインを開発した。
  論文  参考訳（メタデータ） (2024-10-18T17:47:11Z)
• Exploring the Deceptive Power of LLM-Generated Fake News: A Study of Real-World Detection Challenges [21.425647152424585]
  条件付き変分オートエンコーダライズプロンプト(VLPrompt)と呼ばれる強力なフェイクニュース攻撃手法を提案する。 現行のメソッドとは異なり、VLPromptはコンテキストコヒーレンスを維持しながら追加のデータ収集を不要にする。 さまざまな検出方法や新しい人間の研究指標を含む実験を行い,その性能をデータセット上で評価した。
  論文  参考訳（メタデータ） (2024-03-27T04:39:18Z)
• Adapting Fake News Detection to the Era of Large Language Models [48.5847914481222]
  我々は,機械による(言い換えられた)リアルニュース,機械生成のフェイクニュース,人書きのフェイクニュース,人書きのリアルニュースの相互作用について検討する。 我々の実験では、人書き記事のみに特化して訓練された検知器が、機械が生成したフェイクニュースを検出できる興味深いパターンを明らかにしましたが、その逆ではありません。
  論文  参考訳（メタデータ） (2023-11-02T08:39:45Z)
• FakeGPT: Fake News Generation, Explanation and Detection of Large Language Models [18.543917359268345]
  ChatGPTはその例外的な自然言語処理能力のために大きな注目を集めている。 フェイクニュースサンプルの生成に4つのプロンプト手法を用いて,自己評価と人的評価の両面から,これらのサンプルの品質を実証する。 偽ニュースを識別するChatGPTの能力について検討し,その性能向上のための理由認識プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-10-08T07:01:07Z)
• Fake News Detectors are Biased against Texts Generated by Large Language Models [39.36284616311687]
  フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。 本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-09-15T18:04:40Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5381108333212]
  大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
  論文  参考訳（メタデータ） (2023-01-26T18:44:06Z)
• Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
  Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。 偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
  論文  参考訳（メタデータ） (2022-11-25T18:24:17Z)
• A Multi-Policy Framework for Deep Learning-Based Fake News Detection [0.31498833540989407]
  フェイクニュース検出を自動化するフレームワークであるMPSC(Multi-Policy Statement Checker)を導入する。 MPSCは、深層学習技術を用いて、文自体とその関連するニュース記事を分析し、それが信頼できるか疑わしいかを予測する。
  論文  参考訳（メタデータ） (2022-06-01T21:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。