論文の概要: Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News
- arxiv url: http://arxiv.org/abs/2406.14012v1
- Date: Thu, 20 Jun 2024 06:02:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 17:17:16.721616
- Title: Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News
- Title(参考訳): AIレンズを通して見る: LLM生成フェイクニュースに向けた人間の懐疑主義の強化
- Authors: Navid Ayoobi, Sadat Shahriar, Arjun Mukherjee,
- Abstract要約: 本稿は,人間とLLMで作成する物品を個人が識別する簡単なマーカーを解明することを目的としている。
次に、情報理論とエントロピー原理に基づいて、エントロピーシフトオーサリングシグナチャ(ESAS)と呼ばれるメトリクスを考案する。
提案されたESASは、記事の著者の識別に関する関連性に基づいて、POSタグのような用語やエンティティをニュース記事にランク付けする。
- 参考スコア(独自算出の注目度): 0.38233569758620056
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs offer valuable capabilities, yet they can be utilized by malicious users to disseminate deceptive information and generate fake news. The growing prevalence of LLMs poses difficulties in crafting detection approaches that remain effective across various text domains. Additionally, the absence of precautionary measures for AI-generated news on online social platforms is concerning. Therefore, there is an urgent need to improve people's ability to differentiate between news articles written by humans and those produced by LLMs. By providing cues in human-written and LLM-generated news, we can help individuals increase their skepticism towards fake LLM-generated news. This paper aims to elucidate simple markers that help individuals distinguish between articles penned by humans and those created by LLMs. To achieve this, we initially collected a dataset comprising 39k news articles authored by humans or generated by four distinct LLMs with varying degrees of fake. We then devise a metric named Entropy-Shift Authorship Signature (ESAS) based on the information theory and entropy principles. The proposed ESAS ranks terms or entities, like POS tagging, within news articles based on their relevance in discerning article authorship. We demonstrate the effectiveness of our metric by showing the high accuracy attained by a basic method, i.e., TF-IDF combined with logistic regression classifier, using a small set of terms with the highest ESAS score. Consequently, we introduce and scrutinize these top ESAS-ranked terms to aid individuals in strengthening their skepticism towards LLM-generated fake news.
- Abstract(参考訳): LLMは貴重な機能を提供しているが、悪意のあるユーザーが偽情報を拡散し偽ニュースを生成するために利用することができる。
LLMの流行は、様々なテキスト領域で有効な検出手法を構築するのに困難をもたらす。
さらに、オンラインソーシャルプラットフォーム上でAIが生み出すニュースの予防措置が欠如していることが問題となっている。
そのため、人間によるニュース記事とLLMによるニュース記事とを区別する能力の向上が急務である。
人書きニュースやLLM生成ニュースに手がかりを提供することで、偽のLLM生成ニュースに対して個人が懐疑的になるのを助けることができる。
本稿は,人間とLLMで作成する物品を個人が識別する簡単なマーカーを解明することを目的としている。
これを実現するために、まず、人間によって書かれた39kのニュース記事からなるデータセットを収集し、4つの異なるLCMで生成した。
次に、情報理論とエントロピー原理に基づいて、エントロピーシフトオーサリングシグナチャ(ESAS)と呼ばれるメトリクスを考案する。
提案されたESASは、記事の著者の識別に関する関連性に基づいて、POSタグのような用語やエンティティをニュース記事にランク付けする。
提案手法の有効性は,高いESASスコアを持つ単語集合を用いて,TF-IDFとロジスティック回帰分類器を組み合わせた基本手法によって達成された精度を示すことで実証する。
そこで本稿では,LSMの偽ニュースに対する懐疑性を高めるために,ESASの上位の用語を導入し,精査する。
関連論文リスト
- ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。
報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文 参考訳(メタデータ) (2024-05-27T17:38:33Z) - CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。
分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。
本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文 参考訳(メタデータ) (2024-05-20T14:34:01Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Disinformation Capabilities of Large Language Models [0.564232659769944]
本稿では,現在世代の大言語モデル(LLM)の非情報化能力について述べる。
20個の偽情報物語を用いた10個のLDMの能力評価を行った。
LLMは、危険な偽情報の物語に一致する説得力のあるニュース記事を生成することができると結論付けている。
論文 参考訳(メタデータ) (2023-11-15T10:25:30Z) - Harnessing the Power of LLMs: Evaluating Human-AI Text Co-Creation
through the Lens of News Headline Generation [58.31430028519306]
本研究は, LLMを書き込みに最も有効に活用する方法と, これらのモデルとのインタラクションが, 書き込みプロセスにおけるオーナシップや信頼感にどのように影響するかを考察する。
LLMだけで十分なニュースの見出しを生成することができるが、平均すると、望ましくないモデルのアウトプットを修正するには人間による制御が必要である。
論文 参考訳(メタデータ) (2023-10-16T15:11:01Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News
Detection [50.07850264495737]
プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。
我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
論文 参考訳(メタデータ) (2023-09-28T13:19:43Z) - Bad Actor, Good Advisor: Exploring the Role of Large Language Models in
Fake News Detection [22.658378054986624]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
LLMは望ましいマルチパースペクティブな合理性を提供するが、基本的なSLMである細調整のBERTよりも性能が低い。
偽ニュース検出において、現在のLSMは微調整されたSLMの代わりにはならないが、SLMの優れたアドバイザである可能性が示唆された。
論文 参考訳(メタデータ) (2023-09-21T16:47:30Z) - Bias of AI-Generated Content: An Examination of News Produced by Large Language Models [3.386586126505656]
大規模言語モデル(LLM)は、AIGC(AI-Generated Content)として知られる、私たちの生活を変革し、彼らが生成するコンテンツを通じて機能する可能性を持っている。
本稿では,ChatGPT や LLaMA を含む 7 つの代表的な LLM が生成する AIGC のバイアスについて検討する。
論文 参考訳(メタデータ) (2023-09-18T14:47:24Z) - Fake News Detectors are Biased against Texts Generated by Large Language
Models [39.36284616311687]
フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。
本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-09-15T18:04:40Z) - Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use
Large Language Models for Text Production Tasks [12.723777984461693]
大型言語モデル(LLM)は注目すべきデータアノテータである。
クラウドソーシングは、人間のアノテーションを得るための重要で安価な方法であり、それ自体はLLMの影響を受けているかもしれない。
作業完了時には,33~46%がLLMを使用していた。
論文 参考訳(メタデータ) (2023-06-13T16:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。