論文の概要: Large Language Models for Propaganda Detection

• arxiv url: http://arxiv.org/abs/2310.06422v1
• Date: Tue, 10 Oct 2023 08:46:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 18:12:35.881372
• Title: Large Language Models for Propaganda Detection
• Title（参考訳）: プロパガンダ検出のための大規模言語モデル
• Authors: Kilian Sprenkamp, Daniel Gordon Jones, Liudmila Zavolokina
• Abstract要約: 本研究では,プロパガンダ検出におけるLarge Language Models(LLMs)の有効性について検討した。 GPT-3とGPT-4の5つのバリエーションが採用され、様々な迅速な技術と微調整戦略が取り入れられた。 以上の結果から, GPT-4は現在の最先端技術と同等の結果が得られた。
• 参考スコア（独自算出の注目度）: 2.587450057509126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prevalence of propaganda in our digital society poses a challenge to societal harmony and the dissemination of truth. Detecting propaganda through NLP in text is challenging due to subtle manipulation techniques and contextual dependencies. To address this issue, we investigate the effectiveness of modern Large Language Models (LLMs) such as GPT-3 and GPT-4 for propaganda detection. We conduct experiments using the SemEval-2020 task 11 dataset, which features news articles labeled with 14 propaganda techniques as a multi-label classification problem. Five variations of GPT-3 and GPT-4 are employed, incorporating various prompt engineering and fine-tuning strategies across the different models. We evaluate the models' performance by assessing metrics such as $F1$ score, $Precision$, and $Recall$, comparing the results with the current state-of-the-art approach using RoBERTa. Our findings demonstrate that GPT-4 achieves comparable results to the current state-of-the-art. Further, this study analyzes the potential and challenges of LLMs in complex tasks like propaganda detection.
• Abstract（参考訳）: デジタル社会におけるプロパガンダの普及は、社会的調和と真理の普及に挑戦している。 テキスト中のNLPによるプロパガンダの検出は微妙な操作技術と文脈依存のため困難である。 本稿では,GPT-3 や GPT-4 などの現代大規模言語モデル (LLM) によるプロパガンダ検出の有効性について検討する。 我々は,マルチラベル分類問題として,14のプロパガンダ技術でラベル付けされたニュース記事を特徴とするsemeval-2020 task 11データセットを用いて実験を行った。 GPT-3とGPT-4の5つのバリエーションが採用され、異なるモデルにまたがる様々な迅速なエンジニアリングと微調整戦略が取り入れられている。 我々は、F1$ score, $Precision$, $Recall$などのメトリクスを評価し、その結果とRoBERTaを用いた現在の最先端アプローチを比較して、モデルの性能を評価する。 以上の結果から, GPT-4は現在の最先端技術と同等の結果が得られた。 さらに,プロパガンダ検出などの複雑なタスクにおけるLCMの可能性と課題について検討した。

関連論文リスト

• PropaInsight: Toward Deeper Understanding of Propaganda in Terms of Techniques, Appeals, and Intent [71.20471076045916]
  プロパガンダは世論の形成と偽情報の拡散に重要な役割を果たしている。 Propainsightはプロパガンダを体系的に、技術、覚醒的魅力、そして根底にある意図に分解する。 Propagazeは、人間の注釈付きデータと高品質な合成データを組み合わせる。
  論文  参考訳（メタデータ） (2024-09-19T06:28:18Z)
• Can GPT-4 learn to analyse moves in research article abstracts? [0.9999629695552195]
  我々は、自然言語のプロンプトを用いてアノテーションプロセスを自動化するため、GPT-4の余裕を生かしている。 8ショットのプロンプトは2つを用いた場合よりも有効であり、可変性の領域を示す例を含めることで、単一の文で複数の動きを認識できるGPT-4の能力を高めることが確認された。
  論文  参考訳（メタデータ） (2024-07-22T13:14:27Z)
• Can GPT-4 Identify Propaganda? Annotation and Detection of Propaganda Spans in News Articles [11.64165958410489]
  これまでで最大のプロパガンダデータセットを開発し、23のプロパガンダ手法の分類に従ってテキストスパンレベルにラベル付けされた新聞記事から8K節からなる。 我々の研究は、GPT-4を用いてテキストから微細なプロパガンダ検出を行う大規模言語モデル(LLM)の性能を理解するための最初の試みである。 その結果, GPT-4の性能低下は, 段落を単にプロパガンダ的か否かの分類から, プロパガンダ技術の検出やテキストでの表現のきめ細かいタスクへと移行することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-27T13:02:19Z)
• Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases [98.35348038111508]
  本稿では,Google の Gemini と OpenAI の GPT-4V(ision) の2つのパイオニアモデルについて,詳細な比較研究を行った。 分析の核となるのは、各モデルの視覚的理解能力である。 両モデルのユニークな強みとニッチを照らし出した。
  論文  参考訳（メタデータ） (2023-12-22T18:59:58Z)
• Large Language Models for Propaganda Span Annotation [10.358271919023903]
  本研究は, GPT-4のような大規模言語モデルが, 効果的にプロパガンダ的スパンを抽出できるかどうかを考察する。 実験は、大規模な社内アノテートデータセット上で実施される。
  論文  参考訳（メタデータ） (2023-11-16T11:37:54Z)
• Holistic Analysis of Hallucination in GPT-4V(ision): Bias and Interference Challenges [54.42256219010956]
  このベンチマークは、視覚言語モデルにおける2つの一般的な幻覚、すなわちバイアスと干渉を評価するために設計されている。 偏見はモデルがある種の反応を幻覚させる傾向を示すもので、おそらくはトレーニングデータの不均衡によるものである。 干渉とは、テキストプロンプトのフレーズ化や入力画像の表示方法によって、GPT-4V(ision)の判定が破壊されるシナリオである。
  論文  参考訳（メタデータ） (2023-11-06T17:26:59Z)
• The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) [121.42924593374127]
  我々は,最新のモデルであるGPT-4Vを分析し,LMMの理解を深める。 GPT-4Vは、任意にインターリーブされたマルチモーダル入力を処理するという前例のない能力により、強力なマルチモーダルジェネラリストシステムとなっている。 GPT-4Vの、入力画像に描かれた視覚マーカーを理解するユニークな能力は、新しい人間とコンピュータの相互作用方法をもたらす。
  論文  参考訳（メタデータ） (2023-09-29T17:34:51Z)
• GPT-3.5, GPT-4, or BARD? Evaluating LLMs Reasoning Ability in Zero-Shot Setting and Performance Boosting Through Prompts [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では, GPT-3.5, GPT-4, BARDモデルの性能について, 様々な推論タスクについて, 徹底的な技術的評価を行うことにより検討する。
  論文  参考訳（メタデータ） (2023-05-21T14:45:17Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。