論文の概要: Bad Actor, Good Advisor: Exploring the Role of Large Language Models in Fake News Detection

• arxiv url: http://arxiv.org/abs/2309.12247v1
• Date: Thu, 21 Sep 2023 16:47:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 14:08:44.732307
• Title: Bad Actor, Good Advisor: Exploring the Role of Large Language Models in Fake News Detection
• Title（参考訳）: Bad Actor, Good Advisor: Fake News Detectionにおける大規模言語モデルの役割を探る
• Authors: Beizhe Hu, Qiang Sheng, Juan Cao, Yuhui Shi, Yang Li, Danding Wang, Peng Qi
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 LLMは望ましいマルチパースペクティブな合理性を提供するが、基本的なSLMである細調整のBERTよりも性能が低い。 偽ニュース検出において、現在のLSMは微調整されたSLMの代わりにはならないが、SLMの優れたアドバイザである可能性が示唆された。
• 参考スコア（独自算出の注目度）: 22.658378054986624
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Detecting fake news requires both a delicate sense of diverse clues and a profound understanding of the real-world background, which remains challenging for detectors based on small language models (SLMs) due to their knowledge and capability limitations. Recent advances in large language models (LLMs) have shown remarkable performance in various tasks, but whether and how LLMs could help with fake news detection remains underexplored. In this paper, we investigate the potential of LLMs in fake news detection. First, we conduct an empirical study and find that a sophisticated LLM such as GPT 3.5 could generally expose fake news and provide desirable multi-perspective rationales but still underperforms the basic SLM, fine-tuned BERT. Our subsequent analysis attributes such a gap to the LLM's inability to select and integrate rationales properly to conclude. Based on these findings, we propose that current LLMs may not substitute fine-tuned SLMs in fake news detection but can be a good advisor for SLMs by providing multi-perspective instructive rationales. To instantiate this proposal, we design an adaptive rationale guidance network for fake news detection (ARG), in which SLMs selectively acquire insights on news analysis from the LLMs' rationales. We further derive a rationale-free version of ARG by distillation, namely ARG-D, which services cost-sensitive scenarios without inquiring LLMs. Experiments on two real-world datasets demonstrate that ARG and ARG-D outperform three types of baseline methods, including SLM-based, LLM-based, and combinations of small and large language models.
• Abstract（参考訳）: 偽ニュースを検出するには、様々な手がかりの繊細な感覚と現実世界の背景を深く理解する必要がある。 大規模言語モデル(LLM)の最近の進歩は、様々なタスクにおいて顕著なパフォーマンスを示しているが、LLMが偽ニュースの検出にどのように役立つかは、まだ未定である。 本稿では,偽ニュース検出におけるLLMの可能性について検討する。 まず, gpt 3.5 のような高度な llm が一般に偽ニュースを暴露し, 望ましいマルチパースペクティブな合理性を提供するが, 基本的な slm や微調整された bert を過小評価できることを示す。 我々のその後の分析は、LLMが論理を適切に選択・統合できないことに起因する。 これらの結果から,現在のLSMは偽ニュース検出において微調整SLMの代わりにはならないが,マルチパースペクティブ・インストラクティブ・合理性を提供することにより,SLMの優れたアドバイザとなることが示唆された。 この提案をインスタンス化するために,SLM が LLM の論理からニュース分析に関する洞察を選択的に取得する,偽ニュース検出 (ARG) のための適応的合理化誘導ネットワークを設計する。 さらに, LLMを問い合わせることなく, コストに敏感なシナリオを提供するARG-Dの蒸留により, 合理的なARGバージョンを導出する。 2つの実世界のデータセットの実験により、ARGとARG-Dは、SLMベース、LLMベース、および小規模および大規模言語モデルの組み合わせを含む3種類のベースライン手法より優れていることが示された。

関連論文リスト

• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• From Deception to Detection: The Dual Roles of Large Language Models in Fake News [0.20482269513546458]
  フェイクニュースは、情報エコシステムと公衆信頼の整合性に重大な脅威をもたらす。 LLM(Large Language Models)の出現は、フェイクニュースとの戦いを変革する大きな可能性を秘めている。 本稿では,偽ニュースに効果的に対処する各種LLMの能力について検討する。
  論文  参考訳（メタデータ） (2024-09-25T22:57:29Z)
• LLM-GAN: Construct Generative Adversarial Network Through Large Language Models For Explainable Fake News Detection [34.984605500444324]
  大規模言語モデル(LLM)は、その強力な自然言語理解と説明生成能力で知られている。 LLMをジェネレータとインタクタにするためのプロンプト機構を利用した新しいフレームワーク LLM-GAN を提案する。 本結果は,LLM-GANが予測性能と説明品質の両方において有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-03T11:06:45Z)
• Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News [0.38233569758620056]
  本稿は,人間とLLMで作成する物品を個人が識別する簡単なマーカーを解明することを目的としている。 次に、情報理論とエントロピー原理に基づいて、エントロピーシフトオーサリングシグナチャ(ESAS)と呼ばれるメトリクスを考案する。 提案されたESASは、記事の著者の識別に関する関連性に基づいて、POSタグのような用語やエンティティをニュース記事にランク付けする。
  論文  参考訳（メタデータ） (2024-06-20T06:02:04Z)
• DELL: Generating Reactions and Explanations for LLM-Based Misinformation Detection [50.805599761583444]
  大規模な言語モデルは、事実性や幻覚の難しさによって制限され、ニュース記事の正確さを判断するために、棚外で直接使用される。 我々は,LLMをパイプラインの一部として組み込む誤情報検出の3つの重要な段階を同定するDellを提案する。
  論文  参考訳（メタデータ） (2024-02-16T03:24:56Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection Method [36.24876571343749]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。 近年の文献では、LLMは断続的に非実効応答を生成する。 本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T06:22:14Z)
• A Survey on Detection of LLMs-Generated Content [97.87912800179531]
  LLMの生成する内容を検出する能力が最重要視されている。 既存の検出戦略とベンチマークの詳細な概要を提供する。 また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:26Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Fake News Detectors are Biased against Texts Generated by Large Language Models [39.36284616311687]
  フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。 本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-09-15T18:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。