論文の概要: Can Large Language Models Understand Content and Propagation for Misinformation Detection: An Empirical Study

• arxiv url: http://arxiv.org/abs/2311.12699v1
• Date: Tue, 21 Nov 2023 16:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 23:49:31.894134
• Title: Can Large Language Models Understand Content and Propagation for Misinformation Detection: An Empirical Study
• Title（参考訳）: 大規模言語モデルによる誤情報検出の理解と伝播:実証的研究
• Authors: Mengyang Chen, Lingwei Wei, Han Cao, Wei Zhou, Songlin Hu
• Abstract要約: 大きな言語モデル(LLM)は、自然言語の理解と推論における強力な能力に対して大きな注目を集めている。 本研究では,誤情報検出タスクにおけるLCMの性能について,総合的研究を行った。
• 参考スコア（独自算出の注目度）: 26.023148371263012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have garnered significant attention for their powerful ability in natural language understanding and reasoning. In this paper, we present a comprehensive empirical study to explore the performance of LLMs on misinformation detection tasks. This study stands as the pioneering investigation into the understanding capabilities of multiple LLMs regarding both content and propagation across social media platforms. Our empirical studies on five misinformation detection datasets show that LLMs with diverse prompts achieve comparable performance in text-based misinformation detection but exhibit notably constrained capabilities in comprehending propagation structure compared to existing models in propagation-based misinformation detection. Besides, we further design four instruction-tuned strategies to enhance LLMs for both content and propagation-based misinformation detection. These strategies boost LLMs to actively learn effective features from multiple instances or hard instances, and eliminate irrelevant propagation structures, thereby achieving better detection performance. Extensive experiments further demonstrate LLMs would play a better capacity in content and propagation structure under these proposed strategies and achieve promising detection performance. These findings highlight the potential ability of LLMs to detect misinformation.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、自然言語の理解と推論における強力な能力に対して大きな注目を集めている。 本稿では,誤情報検出タスクにおけるLCMの性能について,総合的研究を行った。 本研究は,ソーシャルメディアプラットフォーム間のコンテンツと伝播に関する複数のllmの理解能力に関する先駆的な調査である。 5つの誤情報検出データセットに関する実証研究により、多種多様なプロンプトを持つLCMは、テキストベースの誤情報検出において同等の性能を発揮するが、既存の伝播に基づく誤情報検出モデルと比較して、伝搬構造を理解する上で顕著な制約のある能力を示す。 さらに,コンテンツと伝播に基づく誤情報検出の両方に対するllmを強化するための4つの命令調整戦略も設計した。 これらの戦略により、LLMは複数のインスタンスやハードインスタンスから効果的な機能を積極的に学習し、無関係な伝搬構造を排除し、より良い検出性能を実現することができる。 広汎な実験により、LLMはこれらの戦略の下でコンテンツおよび伝播構造においてより良い容量を担い、将来的な検出性能を達成することが実証された。 これらの知見は、誤情報を検出するLLMの可能性を浮き彫りにした。

関連論文リスト

• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
  本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。 我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
  論文  参考訳（メタデータ） (2024-07-17T11:26:47Z)
• Learning on Graphs with Large Language Models(LLMs): A Deep Dive into Model Robustness [39.57155321515097]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示している。 LLMがグラフ上での学習において堅牢性を示すかどうかは不明である。
  論文  参考訳（メタデータ） (2024-07-16T09:05:31Z)
• MMIDR: Teaching Large Language Model to Interpret Multimodal Misinformation via Knowledge Distillation [15.343028838291078]
  MMIDRは,マルチモーダル誤報の意思決定プロセスにおいて,文章の質や質の良質な説明を提供するためのフレームワークである。 マルチモーダルな誤情報を適切な命令追従形式に変換するために,データ拡張の視点とパイプラインを示す。 さらに, オープンソースのLLMに多モード誤情報を説明するために, プロプライエタリなLLMを蒸留する効率的な知識蒸留手法を設計する。
  論文  参考訳（メタデータ） (2024-03-21T06:47:28Z)
• LEMMA: Towards LVLM-Enhanced Multimodal Misinformation Detection with External Knowledge Augmentation [58.524237916836164]
  外部知識を付加したLVLM強化マルチモーダル誤報検出システム LEMMAを提案する。 提案手法は,Twitter と Fakeddit のデータセットにおいて,上位ベースライン LVLM の精度を 7% と 13% に向上させる。
  論文  参考訳（メタデータ） (2024-02-19T08:32:27Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。