論文の概要: Real-time Fake News from Adversarial Feedback
- arxiv url: http://arxiv.org/abs/2410.14651v1
- Date: Fri, 18 Oct 2024 17:47:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:26:58.192712
- Title: Real-time Fake News from Adversarial Feedback
- Title（参考訳）: 敵からのフィードバックによるリアルタイムフェイクニュース
- Authors: Sanxing Chen, Yukun Huang, Bhuwan Dhingra,
- Abstract要約: ファクトチェックWebサイトのクレームなど,従来の情報源に基づく偽ニュース検出の評価は,LCMベースの検出器の時間経過とともに精度が向上することを示す。
このことは、こうした情報源で偽ニュースの大半を形成する一般的な政治的主張が、表面的な浅層パターンによって容易に分類されることを示唆している。
我々は、RAGベースの検出器からの自然言語フィードバックを利用して、リアルタイムニュースをフェイクニュースに反復的に修正する新しいパイプラインを開発した。
- 参考スコア（独自算出の注目度）: 11.742257531343814
- License:
- Abstract: We show that existing evaluations for fake news detection based on conventional sources, such as claims on fact-checking websites, result in an increasing accuracy over time for LLM-based detectors -- even after their knowledge cutoffs. This suggests that recent popular political claims, which form the majority of fake news on such sources, are easily classified using surface-level shallow patterns. Instead, we argue that a proper fake news detection dataset should test a model's ability to reason factually about the current world by retrieving and reading related evidence. To this end, we develop a novel pipeline that leverages natural language feedback from a RAG-based detector to iteratively modify real-time news into deceptive fake news that challenges LLMs. Our iterative rewrite decreases the binary classification AUC by an absolute 17.5 percent for a strong RAG GPT-4o detector. Our experiments reveal the important role of RAG in both detecting and generating fake news, as retrieval-free LLM detectors are vulnerable to unseen events and adversarial attacks, while feedback from RAG detection helps discover more deceitful patterns in fake news.
- Abstract（参考訳）: ファクトチェックサイトなどの従来の情報源に基づく偽ニュース検出の既存の評価は、知識の遮断後も、LCMベースの検知器の時間とともに精度が向上することを示している。
このことから、近年の政治的主張は、こうした情報源で偽ニュースの大半を形成するものであり、表面的な浅いパターンによって容易に分類されていることが示唆されている。
代わりに、適切な偽ニュース検出データセットは、関連する証拠を検索して読み取ることによって、現在の世界について事実を推論するモデルの能力をテストすべきである、と論じる。
そこで本研究では,RAGに基づく検知器からの自然言語フィードバックを利用して,リアルタイムニュースを誤ニュースに反復的に修正し,LLMに挑戦する新たなパイプラインを開発した。
我々の反復的な書き換えは、強力なRAG GPT-4o検出器に対する絶対17.5%の2値分類AUCを減少させる。
検索不要なLCM検出装置は、未知の事象や敵の攻撃に対して脆弱であり、RAG検出からのフィードバックは偽ニュースのより偽ニュースのパターンを発見するのに役立つ。
関連論文リスト
- Exploring the Deceptive Power of LLM-Generated Fake News: A Study of Real-World Detection Challenges [21.425647152424585]
条件付き変分オートエンコーダライズプロンプト(VLPrompt)と呼ばれる強力なフェイクニュース攻撃手法を提案する。
現行のメソッドとは異なり、VLPromptはコンテキストコヒーレンスを維持しながら追加のデータ収集を不要にする。
さまざまな検出方法や新しい人間の研究指標を含む実験を行い,その性能をデータセット上で評価した。
論文 参考訳（メタデータ） (2024-03-27T04:39:18Z) - Adapting Fake News Detection to the Era of Large Language Models [48.5847914481222]
我々は,機械による(言い換えられた)リアルニュース,機械生成のフェイクニュース,人書きのフェイクニュース,人書きのリアルニュースの相互作用について検討する。
我々の実験では、人書き記事のみに特化して訓練された検知器が、機械が生成したフェイクニュースを検出できる興味深いパターンを明らかにしましたが、その逆ではありません。
論文 参考訳（メタデータ） (2023-11-02T08:39:45Z) - Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News
Detection [50.07850264495737]
プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。
我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
論文 参考訳（メタデータ） (2023-09-28T13:19:43Z) - Fake News Detectors are Biased against Texts Generated by Large Language
Models [39.36284616311687]
フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。
本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-09-15T18:04:40Z) - Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。
偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
論文 参考訳（メタデータ） (2022-11-25T18:24:17Z) - A Multi-Policy Framework for Deep Learning-Based Fake News Detection [0.31498833540989407]
フェイクニュース検出を自動化するフレームワークであるMPSC(Multi-Policy Statement Checker)を導入する。
MPSCは、深層学習技術を用いて、文自体とその関連するニュース記事を分析し、それが信頼できるか疑わしいかを予測する。
論文 参考訳（メタデータ） (2022-06-01T21:25:21Z) - Faking Fake News for Real Fake News Detection: Propaganda-loaded
Training Data Generation [105.20743048379387]
提案手法は,人間によるプロパガンダのスタイルや戦略から情報を得た学習例を生成するための新しいフレームワークである。
具体的には、生成した記事の有効性を確保するために、自然言語推論によって導かれる自己臨界シーケンストレーニングを行う。
実験の結果、PropaNewsでトレーニングされた偽ニュース検知器は、2つの公開データセットで3.62～7.69%のF1スコアで人書きの偽情報を検出するのに優れていることがわかった。
論文 参考訳（メタデータ） (2022-03-10T14:24:19Z) - User Preference-aware Fake News Detection [61.86175081368782]
既存の偽ニュース検出アルゴリズムは、詐欺信号のニュースコンテンツをマイニングすることに焦点を当てている。
本稿では,共同コンテンツとグラフモデリングにより,ユーザの好みから様々な信号を同時にキャプチャする新しいフレームワークUPFDを提案する。
論文 参考訳（メタデータ） (2021-04-25T21:19:24Z) - Connecting the Dots Between Fact Verification and Fake News Detection [21.564628184287173]
本稿では,事実検証と偽ニュース検出の点を結合する,シンプルで効果的な手法を提案する。
提案手法は,最近の事実検証モデルの成功を活用し,ゼロショットフェイクニュースの検出を可能にする。
論文 参考訳（メタデータ） (2020-10-11T09:28:52Z) - Leveraging Multi-Source Weak Social Supervision for Early Detection of
Fake News [67.53424807783414]
ソーシャルメディアは、人々が前例のない速度でオンライン活動に参加することを可能にする。
この制限のないアクセスは、誤情報や偽ニュースの拡散を悪化させ、その緩和のために早期に検出されない限り混乱と混乱を引き起こす可能性がある。
ソーシャルエンゲージメントからの弱い信号とともに、限られた量のクリーンデータを活用して、メタラーニングフレームワークでディープニューラルネットワークをトレーニングし、さまざまな弱いインスタンスの品質を推定します。
実世界のデータセットの実験では、提案されたフレームワークは、予測時にユーザーエンゲージメントを使わずに、フェイクニュースを早期に検出するための最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2020-04-03T18:26:33Z) - Weak Supervision for Fake News Detection via Reinforcement Learning [34.448503443582396]
本稿では,弱教師付きフェイクニュース検出フレームワークWeFENDを提案する。
提案するフレームワークは,アノテータ,強化セレクタ,フェイクニュース検出器の3つの主要コンポーネントで構成されている。
WeChatの公式アカウントと関連するユーザレポートを通じて発行された大量のニュース記事に対して,提案したフレームワークを検証した。
論文 参考訳（メタデータ） (2019-12-28T21:20:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。