論文の概要: Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News
- arxiv url: http://arxiv.org/abs/2406.14012v1
- Date: Thu, 20 Jun 2024 06:02:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 17:17:16.721616
- Title: Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News
- Title（参考訳）: AIレンズを通して見る: LLM生成フェイクニュースに向けた人間の懐疑主義の強化
- Authors: Navid Ayoobi, Sadat Shahriar, Arjun Mukherjee,
- Abstract要約: 本稿は,人間とLLMで作成する物品を個人が識別する簡単なマーカーを解明することを目的としている。
次に、情報理論とエントロピー原理に基づいて、エントロピーシフトオーサリングシグナチャ(ESAS)と呼ばれるメトリクスを考案する。
提案されたESASは、記事の著者の識別に関する関連性に基づいて、POSタグのような用語やエンティティをニュース記事にランク付けする。
- 参考スコア（独自算出の注目度）: 0.38233569758620056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs offer valuable capabilities, yet they can be utilized by malicious users to disseminate deceptive information and generate fake news. The growing prevalence of LLMs poses difficulties in crafting detection approaches that remain effective across various text domains. Additionally, the absence of precautionary measures for AI-generated news on online social platforms is concerning. Therefore, there is an urgent need to improve people's ability to differentiate between news articles written by humans and those produced by LLMs. By providing cues in human-written and LLM-generated news, we can help individuals increase their skepticism towards fake LLM-generated news. This paper aims to elucidate simple markers that help individuals distinguish between articles penned by humans and those created by LLMs. To achieve this, we initially collected a dataset comprising 39k news articles authored by humans or generated by four distinct LLMs with varying degrees of fake. We then devise a metric named Entropy-Shift Authorship Signature (ESAS) based on the information theory and entropy principles. The proposed ESAS ranks terms or entities, like POS tagging, within news articles based on their relevance in discerning article authorship. We demonstrate the effectiveness of our metric by showing the high accuracy attained by a basic method, i.e., TF-IDF combined with logistic regression classifier, using a small set of terms with the highest ESAS score. Consequently, we introduce and scrutinize these top ESAS-ranked terms to aid individuals in strengthening their skepticism towards LLM-generated fake news.
- Abstract（参考訳）: LLMは貴重な機能を提供しているが、悪意のあるユーザーが偽情報を拡散し偽ニュースを生成するために利用することができる。
LLMの流行は、様々なテキスト領域で有効な検出手法を構築するのに困難をもたらす。
さらに、オンラインソーシャルプラットフォーム上でAIが生み出すニュースの予防措置が欠如していることが問題となっている。
そのため、人間によるニュース記事とLLMによるニュース記事とを区別する能力の向上が急務である。
人書きニュースやLLM生成ニュースに手がかりを提供することで、偽のLLM生成ニュースに対して個人が懐疑的になるのを助けることができる。
本稿は,人間とLLMで作成する物品を個人が識別する簡単なマーカーを解明することを目的としている。
これを実現するために、まず、人間によって書かれた39kのニュース記事からなるデータセットを収集し、4つの異なるLCMで生成した。
次に、情報理論とエントロピー原理に基づいて、エントロピーシフトオーサリングシグナチャ(ESAS)と呼ばれるメトリクスを考案する。
提案されたESASは、記事の著者の識別に関する関連性に基づいて、POSタグのような用語やエンティティをニュース記事にランク付けする。
提案手法の有効性は,高いESASスコアを持つ単語集合を用いて,TF-IDFとロジスティック回帰分類器を組み合わせた基本手法によって達成された精度を示すことで実証する。
そこで本稿では,LSMの偽ニュースに対する懐疑性を高めるために,ESASの上位の用語を導入し,精査する。
関連論文リスト
- The Reopening of Pandora's Box: Analyzing the Role of LLMs in the Evolving Battle Against AI-Generated Fake News [30.759761034237563]
大規模言語モデル(LLM)は、大規模な偽ニュースを生成する。
LLMは実際のニュースを検出するのに人間よりも68%効果的である。
偽ニュース検出では、LLMと人間のパフォーマンスはいまだに同等である。
論文 参考訳（メタデータ） (2024-10-25T01:58:29Z) - From Deception to Detection: The Dual Roles of Large Language Models in Fake News [0.20482269513546458]
フェイクニュースは、情報エコシステムと公衆信頼の整合性に重大な脅威をもたらす。
LLM(Large Language Models)の出現は、フェイクニュースとの戦いを変革する大きな可能性を秘めている。
本稿では,偽ニュースに効果的に対処する各種LLMの能力について検討する。
論文 参考訳（メタデータ） (2024-09-25T22:57:29Z) - LLM-GAN: Construct Generative Adversarial Network Through Large Language Models For Explainable Fake News Detection [34.984605500444324]
大規模言語モデル(LLM)は、その強力な自然言語理解と説明生成能力で知られている。
LLMをジェネレータとインタクタにするためのプロンプト機構を利用した新しいフレームワーク LLM-GAN を提案する。
本結果は,LLM-GANが予測性能と説明品質の両方において有効であることを示す。
論文 参考訳（メタデータ） (2024-09-03T11:06:45Z) - ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
本稿では,これらのモデルで共有される共通特性について述べる。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-05-27T17:38:33Z) - CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。
分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。
本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文 参考訳（メタデータ） (2024-05-20T14:34:01Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳（メタデータ） (2024-01-02T18:53:13Z) - Harnessing the Power of LLMs: Evaluating Human-AI Text Co-Creation
through the Lens of News Headline Generation [58.31430028519306]
本研究は, LLMを書き込みに最も有効に活用する方法と, これらのモデルとのインタラクションが, 書き込みプロセスにおけるオーナシップや信頼感にどのように影響するかを考察する。
LLMだけで十分なニュースの見出しを生成することができるが、平均すると、望ましくないモデルのアウトプットを修正するには人間による制御が必要である。
論文 参考訳（メタデータ） (2023-10-16T15:11:01Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳（メタデータ） (2023-10-10T03:06:38Z) - Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News
Detection [50.07850264495737]
プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。
我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
論文 参考訳（メタデータ） (2023-09-28T13:19:43Z) - Bad Actor, Good Advisor: Exploring the Role of Large Language Models in
Fake News Detection [22.658378054986624]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
LLMは望ましいマルチパースペクティブな合理性を提供するが、基本的なSLMである細調整のBERTよりも性能が低い。
偽ニュース検出において、現在のLSMは微調整されたSLMの代わりにはならないが、SLMの優れたアドバイザである可能性が示唆された。
論文 参考訳（メタデータ） (2023-09-21T16:47:30Z) - Fake News Detectors are Biased against Texts Generated by Large Language
Models [39.36284616311687]
フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。
本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-09-15T18:04:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。