論文の概要: Unmasking Propaganda: A Comparative Analysis of Masked and Causal Language Models
- arxiv url: http://arxiv.org/abs/2610.03077v1
- Date: Fri, 02 Oct 2026 09:59:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.313254
- Title: Unmasking Propaganda: A Comparative Analysis of Masked and Causal Language Models
- Title(参考訳): Unmasking Propaganda: Masked と Causal Language の比較分析
- Abstract要約: 本稿では,現代の言語モデルの比較分析を通じて,プロパガンダ技術の検出の進歩について考察する。
マスク付き言語モデルと因果モデルの両方を評価し、ベースとチェーン・オブ・シークレットという2つのプロンプト戦略を採用した。
その結果,技術分類におけるF1スコアが63.18であり,最も優れた因果モデルが63.62である,最先端モデルの改善が示された。
- 参考スコア(独自算出の注目度): 3.09837566739141
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Propaganda detection is an essential task in natural language processing (NLP), particularly in the context of manipulative political communications. However, identifying specific propaganda techniques presents a significant challenge due to their often subtle nature and reliance on context, making them difficult to distinguish from legitimate persuasive language. Propaganda often involves highlighting certain facts while downplaying or ignoring others to create a desired perception. This biased communication aims to influence attitudes, beliefs, or behaviors towards a particular cause or position. This paper explores advances in detecting propaganda techniques through a comparative analysis of modern language models, using the SemEval-2020 Task 11 dataset. We evaluated both masked language models (based on XLM-RoBERTa or DeBERTa V3) and causal models (from OpenAI, Google, Mistral, Anthropic and Meta), employing two prompting strategies: base and chain-of-thought prompting. Our results demonstrate improvements over state-of-the-art models, with the best-performing MLM achieving an F1 score of 63.18 in technique classification and the best causal model achieving 63.62. We also observed that certain models excel in specific techniques, such as loaded language and name-calling, while struggling with others like bandwagon and black-and-white fallacy. These findings suggest that fine-tuning, ensemble modeling, and the use of larger datasets can further enhance propaganda detection capabilities.
- Abstract(参考訳): プロパガンダ検出は自然言語処理(NLP)において重要な課題であり、特にマニピュティブな政治的コミュニケーションの文脈において重要である。
しかし、特定のプロパガンダ技術を特定することは、しばしば微妙な性質と文脈に依存しているため、正統な説得言語と区別が難しいため、重大な課題となる。
プロパガンダはしばしば、望まれる知覚を生み出すために他人を軽視したり無視したりしながら、特定の事実を強調する。
このバイアスのあるコミュニケーションは、特定の原因や位置に対する態度、信念、行動に影響を与えることを目的としています。
本稿では,SemEval-2020 Task 11データセットを用いて,現代言語モデルの比較分析によるプロパガンダ手法の検出の進歩について検討する。
マスク付き言語モデル(XLM-RoBERTa または DeBERTa V3)と因果モデル(OpenAI, Google, Mistral, Anthropic, Meta)の両方を評価し,ベースとチェーンのプロンプトという2つのプロンプト戦略を採用した。
本研究は,技術分類におけるF1スコアが63.18であり,最高の因果モデルが63.62であることから,最先端モデルの改善を実証するものである。
また,特定のモデルでは,ロード言語や名前呼び出しといった特定の手法が優れており,バンドワゴンや白黒の誤信など他のモデルと戦っていることも見いだした。
これらの結果は、微調整、アンサンブルモデリング、より大きなデータセットの使用により、プロパガンダ検出能力をさらに高めることができることを示唆している。
関連論文リスト
- Addressing Stereotypes in Large Language Models: A Critical Examination and Mitigation [0.0]
自然言語処理(NLP)の発展に伴い,近年,大規模言語モデル (LLM) が普及している。
本研究は, 生成人工知能(AI)の増大に伴い, LLMのバイアスに対処する必要があることを調査し, 強調する。
我々は, StereoSet や CrowSPairs などのバイアス特異的なベンチマークを用いて,BERT や GPT 3.5,ADA など,様々な世代モデルにおける様々なバイアスの存在を評価する。
論文 参考訳(メタデータ) (2025-11-18T05:43:34Z) - Yet another algorithmic bias: A Discursive Analysis of Large Language Models Reinforcing Dominant Discourses on Gender and Race [4.10874761487336]
LLM(Large Language Models)は、様々な文脈において広く使われてきた言語モデルである。
より洗練されたバージョンへと進化するにつれて、差別や人種化といったバイアスを再現するかどうかを評価することが不可欠である。
本研究では,このような手法を補完する定性的・非帰的枠組みを提案する。
論文 参考訳(メタデータ) (2025-08-14T03:22:02Z) - Towards Detecting Persuasion on Social Media: From Model Development to Insights on Persuasion Strategies [32.942040379593976]
本稿では,SemEval 2023 Task 3 の Subtask 3 における最先端性能を実現する,説得力のあるテキスト検出のための軽量モデルを提案する。
オーストラリア連邦選挙2022年のFacebook広告データセットを収集することで、モデルの実用性を実証する。
次に、APA22データセットの残りの部分をラベル付けするために、微調整モデルを適用し、政治キャンペーンが説得をどのように活用するかについて、異なるパターンを明らかにします。
論文 参考訳(メタデータ) (2025-03-18T02:33:38Z) - PropaInsight: Toward Deeper Understanding of Propaganda in Terms of Techniques, Appeals, and Intent [71.20471076045916]
プロパガンダは世論の形成と偽情報の拡散に重要な役割を果たしている。
Propainsightはプロパガンダを体系的に、技術、覚醒的魅力、そして根底にある意図に分解する。
Propagazeは、人間の注釈付きデータと高品質な合成データを組み合わせる。
論文 参考訳(メタデータ) (2024-09-19T06:28:18Z) - Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。
多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。
これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
論文 参考訳(メタデータ) (2024-08-14T16:55:06Z) - White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。
LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。
LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
論文 参考訳(メタデータ) (2024-04-16T12:27:54Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳(メタデータ) (2023-11-14T18:59:15Z) - Context-aware Adversarial Attack on Named Entity Recognition [15.049160192547909]
本研究では,文脈対応型対向攻撃法について検討し,モデルのロバスト性について検討する。
具体的には、エンティティを認識するために最も情報に富む単語を摂動し、敵の例を作成することを提案する。
実験と分析により,本手法は強いベースラインよりも間違った予測を下すのに有効であることが示された。
論文 参考訳(メタデータ) (2023-09-16T14:04:23Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。