論文の概要: Are Large Language Models Good at Detecting Propaganda?

• arxiv url: http://arxiv.org/abs/2505.13706v1
• Date: Mon, 19 May 2025 20:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.511883
• Title: Are Large Language Models Good at Detecting Propaganda?
• Title（参考訳）: 大規模言語モデルはプロパガンダを検出するのに優れているか?
• Authors: Julia Jose, Rachel Greenstadt,
• Abstract要約: プロパガンディストは、論理的な誤信と感情的な魅力に頼って、彼らの議題を前進させる修辞的な装置を使用する。 近年の自然言語処理の進歩により,操作内容を検出するシステムの開発が可能になった。
• 参考スコア（独自算出の注目度）: 2.927159756213616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Propagandists use rhetorical devices that rely on logical fallacies and emotional appeals to advance their agendas. Recognizing these techniques is key to making informed decisions. Recent advances in Natural Language Processing (NLP) have enabled the development of systems capable of detecting manipulative content. In this study, we look at several Large Language Models and their performance in detecting propaganda techniques in news articles. We compare the performance of these LLMs with transformer-based models. We find that, while GPT-4 demonstrates superior F1 scores (F1=0.16) compared to GPT-3.5 and Claude 3 Opus, it does not outperform a RoBERTa-CRF baseline (F1=0.67). Additionally, we find that all three LLMs outperform a MultiGranularity Network (MGN) baseline in detecting instances of one out of six propaganda techniques (name-calling), with GPT-3.5 and GPT-4 also outperforming the MGN baseline in detecting instances of appeal to fear and flag-waving.
• Abstract（参考訳）: プロパガンディストは、論理的な誤信と感情的な魅力に頼って、彼らの議題を前進させる修辞的な装置を使用する。 これらのテクニックを認識することが、情報的な意思決定の鍵となります。 自然言語処理(NLP)の最近の進歩により,操作内容を検出するシステムの開発が可能になった。 本研究では,ニュース記事におけるプロパガンダ手法の検出における大規模言語モデルとその性能について考察する。 これらのLLMの性能を変換器ベースモデルと比較する。 GPT-4はGPT-3.5やClaude 3 Opusに比べて優れたF1スコア(F1=0.16)を示すが、RoBERTa-CRFベースライン(F1=0.67)よりは優れていない。 さらに,3つのLCMが6つのプロパガンダ技術(名前呼び出し)のうち1つを検知するためにMGNベースラインより優れており,GPT-3.5とGPT-4もMGNベースラインより優れており,恐怖やフラグウェアに対するアピールの事例が検出されている。

関連論文リスト

• Large Language Model for Vulnerability Detection: Emerging Results and Future Directions [15.981132063061661]
  従来の学習ベースの脆弱性検出方法は、中規模の事前訓練モデルか、スクラッチから小さなニューラルネットワークに頼っていた。 近年のLarge Pre-Trained Language Models (LLMs) の進歩は,様々なタスクにおいて顕著な数発の学習能力を示した。
  論文  参考訳（メタデータ） (2024-01-27T17:39:36Z)
• Comparing GPT-4 and Open-Source Language Models in Misinformation Mitigation [6.929834518749884]
  GPT-4は、この領域では強いことが知られているが、クローズドソースであり、潜在的に高価であり、異なるバージョン間で不安定を示すことができる。 我々は、Zephyr-7bが、一般的なアプローチの重要な制限を克服し、一貫した代替手段を提供することを示す。 そして、GPT-3.5が不安定な性能を示し、この非常に広く使われているモデルが誤情報検出の誤った結果をもたらす可能性があることを強調した。
  論文  参考訳（メタデータ） (2024-01-12T22:27:25Z)
• Fighting Fire with Fire: The Dual Role of LLMs in Crafting and Detecting Elusive Disinformation [7.782551258221384]
  大規模言語モデル(LLM)の最近のユビキティと破壊的な影響は、それらが誤用される可能性を懸念している。 本稿では,近代LLMの創発的・創発的推論能力を活用する新しい「火災を伴う火災(Fighting Fire with Fire)」戦略を提案する。 GPT-3.5-turboの精度は68-72%であった。
  論文  参考訳（メタデータ） (2023-10-24T04:50:29Z)
• Large Language Models for Propaganda Detection [2.587450057509126]
  本研究では,プロパガンダ検出におけるLarge Language Models(LLMs)の有効性について検討した。 GPT-3とGPT-4の5つのバリエーションが採用され、様々な迅速な技術と微調整戦略が取り入れられた。 以上の結果から, GPT-4は現在の最先端技術と同等の結果が得られた。
  論文  参考訳（メタデータ） (2023-10-10T08:46:10Z)
• Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias [57.42417061979399]
  近年の研究では、インストラクションチューニング(IT)と人間フィードバック(RLHF)による強化学習によって、大規模言語モデル(LM)の能力が劇的に向上していることが示されている。 本研究では,ITとRLHFがLMの意思決定と推論に与える影響について検討する。 以上の結果から,GPT-3,Mistral,T5ファミリーの各種モデルにおけるこれらのバイアスの存在が示唆された。
  論文  参考訳（メタデータ） (2023-08-01T01:39:25Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [53.78782375511531]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。