論文の概要: Large Language Models Reveal Information Operation Goals, Tactics, and Narrative Frames
- arxiv url: http://arxiv.org/abs/2405.03688v1
- Date: Mon, 6 May 2024 17:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 12:57:40.720548
- Title: Large Language Models Reveal Information Operation Goals, Tactics, and Narrative Frames
- Title（参考訳）: 大規模言語モデルによる情報操作目標,戦術,ナラティブフレームの探索
- Authors: Keith Burghardt, Kai Chen, Kristina Lerman,
- Abstract要約: 我々は,協調キャンペーンアノテーションのケーススタディとして GPT-3.5 を用いる。
協調キャンペーン毎に、GPT-3.5を用いて特定の関心事に関連する投稿を分析し、目標、戦術、物語のフレームを抽出する。
- 参考スコア（独自算出の注目度）: 11.092274997807994
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial information operations can destabilize societies by undermining fair elections, manipulating public opinions on policies, and promoting scams. Despite their widespread occurrence and potential impacts, our understanding of influence campaigns is limited by manual analysis of messages and subjective interpretation of their observable behavior. In this paper, we explore whether these limitations can be mitigated with large language models (LLMs), using GPT-3.5 as a case-study for coordinated campaign annotation. We first use GPT-3.5 to scrutinize 126 identified information operations spanning over a decade. We utilize a number of metrics to quantify the close (if imperfect) agreement between LLM and ground truth descriptions. We next extract coordinated campaigns from two large multilingual datasets from X (formerly Twitter) that respectively discuss the 2022 French election and 2023 Balikaran Philippine-U.S. military exercise in 2023. For each coordinated campaign, we use GPT-3.5 to analyze posts related to a specific concern and extract goals, tactics, and narrative frames, both before and after critical events (such as the date of an election). While the GPT-3.5 sometimes disagrees with subjective interpretation, its ability to summarize and interpret demonstrates LLMs' potential to extract higher-order indicators from text to provide a more complete picture of the information campaigns compared to previous methods.
- Abstract（参考訳）: 敵対的な情報操作は、公正な選挙を弱め、政策に関する世論を操り、詐欺を助長することによって社会を不安定にすることができる。
その広範な発生と潜在的影響にもかかわらず、我々の影響キャンペーンに対する理解は、メッセージの手動分析と観察可能な行動の主観的解釈によって制限される。
本稿では,これらの制限を大規模言語モデル (LLM) で緩和できるかどうかを,協調キャンペーンアノテーションのケーススタディとして GPT-3.5 を用いて検討する。
まずGPT-3.5を用いて,10年以上にわたる識別情報処理126件を精査する。
我々は, LLM と基底的真理記述の間の密接な(不完全な)合意を定量化するために, 多数の指標を利用する。
次に、2022年のフランス大統領選挙と2023年のバリカラン・フィリピン・アメリカの軍事演習をそれぞれ議論する2つの大きな多言語データセット(元Twitter)から、協調的なキャンペーンを抽出する。
各キャンペーンは、GPT-3.5を用いて、特定の関心事に関連する投稿を分析し、重要な出来事(選挙の日時など)の前後の目標、戦術、物語のフレームを抽出する。
GPT-3.5は主観的解釈に異を唱えることもあるが、LLMがテキストから高次指標を抽出し、従来の方法と比較してより完全な情報キャンペーンのイメージを提供する可能性を示している。
関連論文リスト
- On the Use of Proxies in Political Ad Targeting [49.61009579554272]
我々は、主要な政治広告主がプロキシ属性をターゲットとして緩和を回避したことを示す。
本研究は政治広告の規制に関する議論に重要な意味を持つ。
論文 参考訳（メタデータ） (2024-10-18T17:15:13Z) - Large language models can consistently generate high-quality content for election disinformation operations [2.98293101034582]
大規模言語モデルでは、説得力のある選挙偽情報を大規模に生成する可能性について懸念が高まっている。
本研究は,選挙偽情報処理の段階を自動化するLLMの能力について,二部構成で検討した。
論文 参考訳（メタデータ） (2024-08-13T08:45:34Z) - Motamot: A Dataset for Revealing the Supremacy of Large Language Models over Transformer Models in Bengali Political Sentiment Analysis [0.0]
政治的感情を分析することは、特に選挙期間中の世論過程の複雑さを理解するために重要である。
本研究は, 肯定的, 否定的な感情を付加した7,058件からなる「モタモット」データセットの作成に焦点を当てた。
バングラバート,バングラバートベース,XLM-RoBERTa,mBERT,sahajBERT,およびジェミニ1.5 Pro,GPT3.5 TurboなどのPLMの性能評価を行った。
論文 参考訳（メタデータ） (2024-07-28T16:34:53Z) - Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。
我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文 参考訳（メタデータ） (2024-03-11T21:51:39Z) - Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳（メタデータ） (2024-01-29T17:17:42Z) - Leveraging VLM-Based Pipelines to Annotate 3D Objects [68.51034848207355]
本稿では,VLMの応答に影響を与える視点などの要因を疎外する代替アルゴリズムを提案する。
テキストのみの応答をマージする代わりに、VLMの合同画像テキストの可能性を利用する。
VLMベースのパイプラインを使って764Kデータセットから764Kオブジェクトの信頼性の高いアノテーションを生成する方法を示す。
論文 参考訳（メタデータ） (2023-11-29T17:54:22Z) - Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。
はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。
本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
論文 参考訳（メタデータ） (2023-11-14T03:38:55Z) - Electoral Agitation Data Set: The Use Case of the Polish Election [3.671887117122512]
ポーランド語における選挙の扇動を検出するための最初の公開データセットを提示する。
これには、法的に条件付けされた4つのカテゴリにタグ付けされた6,112人の人手によるツイートが含まれている。
新たに作成されたデータセットは、HerBERTと呼ばれるポーランド語モデルの微調整に使用された。
論文 参考訳（メタデータ） (2023-07-13T18:14:43Z) - Leveraging Large Language Models for Topic Classification in the Domain
of Public Affairs [65.9077733300329]
大規模言語モデル (LLM) は公務員文書の分析を大幅に強化する可能性を秘めている。
LLMは、公共の分野など、ドメイン固有のドキュメントを処理するのに非常に役立ちます。
論文 参考訳（メタデータ） (2023-06-05T13:35:01Z) - A Spanish dataset for Targeted Sentiment Analysis of political headlines [0.0]
この研究は、2019年のアルゼンチン大統領選挙で主要メディアから公開されたニュースニュースの見出しのドメインに対するターゲティング・センティメント・アナリティクス(Targeted Sentiment Analysis)の課題に対処する。
我々は、2019年の選挙の候補者を対象レベルで言及した1,976人の見出しの極性データセットを提示する。
事前訓練された言語モデルに基づく最先端分類アルゴリズムによる予備実験により,この課題に対象情報が有用であることが示唆された。
論文 参考訳（メタデータ） (2022-08-30T01:30:30Z) - Political Advertising Dataset: the use case of the Polish 2020
Presidential Elections [4.560033258611709]
ポーランド語における特定のテキストチャンクや政治広告のカテゴリを検出するための、最初の公開データセットを提示する。
9つのカテゴリーにタグ付けされた1,705件の人称注釈付きツイートが含まれており、これはポーランドの選挙法の下でのキャンペーンである。
論文 参考訳（メタデータ） (2020-06-17T23:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。