論文の概要: Fake News in Sheep's Clothing: Robust Fake News Detection Against LLM-Empowered Style Attacks

• arxiv url: http://arxiv.org/abs/2310.10830v1
• Date: Mon, 16 Oct 2023 21:05:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 18:58:00.034405
• Title: Fake News in Sheep's Clothing: Robust Fake News Detection Against LLM-Empowered Style Attacks
• Title（参考訳）: 羊の服のフェイクニュース: llm-empoweredスタイル攻撃に対するロバストなフェイクニュース検出
• Authors: Jiaying Wu, Bryan Hooi
• Abstract要約: SheepDogは、ニュース作成スタイルに頑健な、スタイルに依存しない偽ニュース検出ツールである。 SheepDog はこの適応性を LLM を利用したニュースリフレーミングによって実現している。 SheepDogは、競争ベースラインよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 44.17045754539121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is commonly perceived that online fake news and reliable news exhibit stark differences in writing styles, such as the use of sensationalist versus objective language. However, we emphasize that style-related features can also be exploited for style-based attacks. Notably, the rise of powerful Large Language Models (LLMs) has enabled malicious users to mimic the style of trustworthy news outlets at minimal cost. Our analysis reveals that LLM-camouflaged fake news content leads to substantial performance degradation of state-of-the-art text-based detectors (up to 38% decrease in F1 Score), posing a significant challenge for automated detection in online ecosystems. To address this, we introduce SheepDog, a style-agnostic fake news detector robust to news writing styles. SheepDog achieves this adaptability through LLM-empowered news reframing, which customizes each article to match different writing styles using style-oriented reframing prompts. By employing style-agnostic training, SheepDog enhances its resilience to stylistic variations by maximizing prediction consistency across these diverse reframings. Furthermore, SheepDog extracts content-focused veracity attributions from LLMs, where the news content is evaluated against a set of fact-checking rationales. These attributions provide supplementary information and potential interpretability that assist veracity prediction. On three benchmark datasets, empirical results show that SheepDog consistently yields significant improvements over competitive baselines and enhances robustness against LLM-empowered style attacks.
• Abstract（参考訳）: オンライン偽ニュースや信頼できるニュースは、センセーショナリズムと客観的言語の使用など、文章のスタイルに大きく違いがあることが一般的である。 しかし、スタイル関連の機能はスタイルベースの攻撃にも利用できることを強調する。 特に、強力な大規模言語モデル(LLM)の台頭により、悪意のあるユーザーが最小限のコストで信頼できるニュースメディアのスタイルを模倣できるようになった。 分析の結果,LLMをカモフラージュした偽ニュースコンテンツは,最先端のテキストベース検出器の性能低下(F1 Scoreの最大38%低下)を招き,オンラインエコシステムにおける自動検出の課題となった。 これに対処するため、我々はニュースライティングスタイルに頑健なスタイル非依存のフェイクニュース検出器であるhrowdogを紹介する。 SheepDogはこの適応性をLLMを利用したニュースリフレーミングを通じて実現し、スタイル指向のリフレーミングプロンプトを使用して各記事が異なる書き込みスタイルにマッチするようにカスタマイズする。 スタイルに依存しないトレーニングを採用することで、SheepDogは、これらの多様なリフレーミングの予測一貫性を最大化することによって、そのレジリエンスを、スタイル的なバリエーションに拡張する。 さらに、ニュースコンテンツがファクトチェックの根拠に対して評価されるllmsから、コンテンツ中心の検証性属性を抽出する。 これらの属性は、妥当性予測を支援する補助情報と潜在的な解釈可能性を提供する。 3つのベンチマークデータセットでは、SheepDogは競争ベースラインよりも大幅に改善され、LLMによるスタイル攻撃に対する堅牢性を高めている。

関連論文リスト

• Adversarial Style Augmentation via Large Language Model for Robust Fake News Detection [18.998947450697337]
  本研究は, 偽ニュース検知器の訓練を行うために, 対向型拡張AdStyleを提案する。 我々のモデルの主要なメカニズムは、LLMを慎重に使用して、多種多様なスタイル変換攻撃プロンプトを自動生成することである。 実験により、我々の拡張戦略は、フェイクニュースベンチマークデータセットでテストした場合の堅牢性と検出性能を改善することが示された。
  論文  参考訳（メタデータ） (2024-06-17T07:00:41Z)
• Exploring the Deceptive Power of LLM-Generated Fake News: A Study of Real-World Detection Challenges [21.425647152424585]
  条件付き変分オートエンコーダライズプロンプト(VLPrompt)と呼ばれる強力なフェイクニュース攻撃手法を提案する。 現行のメソッドとは異なり、VLPromptはコンテキストコヒーレンスを維持しながら追加のデータ収集を不要にする。 さまざまな検出方法や新しい人間の研究指標を含む実験を行い,その性能をデータセット上で評価した。
  論文  参考訳（メタデータ） (2024-03-27T04:39:18Z)
• Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News Detection [50.07850264495737]
  プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。 我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
  論文  参考訳（メタデータ） (2023-09-28T13:19:43Z)
• fakenewsbr: A Fake News Detection Platform for Brazilian Portuguese [0.6775616141339018]
  本稿ではブラジルポルトガル語における偽ニュースの検出に関する総合的研究について述べる。 本稿では、TF-IDFやWord2Vecといった自然言語処理技術を活用する機械学習ベースのアプローチを提案する。 ユーザフレンドリーなWebプラットフォームである fakenewsbr.com を開発し,ニュース記事の妥当性の検証を容易にする。
  論文  参考訳（メタデータ） (2023-09-20T04:10:03Z)
• Fake News Detectors are Biased against Texts Generated by Large Language Models [39.36284616311687]
  フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。 本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-09-15T18:04:40Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
  Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。 偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
  論文  参考訳（メタデータ） (2022-11-25T18:24:17Z)
• Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation [105.20743048379387]
  提案手法は,人間によるプロパガンダのスタイルや戦略から情報を得た学習例を生成するための新しいフレームワークである。 具体的には、生成した記事の有効性を確保するために、自然言語推論によって導かれる自己臨界シーケンストレーニングを行う。 実験の結果、PropaNewsでトレーニングされた偽ニュース検知器は、2つの公開データセットで3.62～7.69%のF1スコアで人書きの偽情報を検出するのに優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-10T14:24:19Z)
• Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News [57.9843300852526]
  我々は、画像やキャプションを含む機械生成ニュースに対して、より現実的で挑戦的な対策を導入する。 敵が悪用できる可能性のある弱点を特定するために、4つの異なる種類の生成された記事からなるNeuralNewsデータセットを作成します。 ユーザ実験から得られた貴重な知見に加えて,視覚的意味的不整合の検出にもとづく比較的効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。