論文の概要: Exposing Influence Campaigns in the Age of LLMs: A Behavioral-Based AI
Approach to Detecting State-Sponsored Trolls
- arxiv url: http://arxiv.org/abs/2210.08786v6
- Date: Wed, 11 Oct 2023 07:37:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 04:32:43.480854
- Title: Exposing Influence Campaigns in the Age of LLMs: A Behavioral-Based AI
Approach to Detecting State-Sponsored Trolls
- Title（参考訳）: LLMの時代における露光効果:国家支援トロル検出のための行動ベースAIアプローチ
- Authors: Fatima Ezzeddine and Luca Luceri and Omran Ayoub and Ihab Sbeity and
Gianluca Nogara and Emilio Ferrara and Silvia Giordano
- Abstract要約: ソーシャルメディア上で影響力のあるキャンペーンで活動している国家スポンサーのトロルの検出は、批判的で未解決の課題である。
我々は,共有活動のシーケンスに関連付けられた行動的手がかりのみでトロルアカウントを識別する,AIベースの新しいソリューションを提案する。
- 参考スコア（独自算出の注目度）: 8.202465737306222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The detection of state-sponsored trolls operating in influence campaigns on
social media is a critical and unsolved challenge for the research community,
which has significant implications beyond the online realm. To address this
challenge, we propose a new AI-based solution that identifies troll accounts
solely through behavioral cues associated with their sequences of sharing
activity, encompassing both their actions and the feedback they receive from
others. Our approach does not incorporate any textual content shared and
consists of two steps: First, we leverage an LSTM-based classifier to determine
whether account sequences belong to a state-sponsored troll or an organic,
legitimate user. Second, we employ the classified sequences to calculate a
metric named the "Troll Score", quantifying the degree to which an account
exhibits troll-like behavior. To assess the effectiveness of our method, we
examine its performance in the context of the 2016 Russian interference
campaign during the U.S. Presidential election. Our experiments yield
compelling results, demonstrating that our approach can identify account
sequences with an AUC close to 99% and accurately differentiate between Russian
trolls and organic users with an AUC of 91%. Notably, our behavioral-based
approach holds a significant advantage in the ever-evolving landscape, where
textual and linguistic properties can be easily mimicked by Large Language
Models (LLMs): In contrast to existing language-based techniques, it relies on
more challenging-to-replicate behavioral cues, ensuring greater resilience in
identifying influence campaigns, especially given the potential increase in the
usage of LLMs for generating inauthentic content. Finally, we assessed the
generalizability of our solution to various entities driving different
information operations and found promising results that will guide future
research.
- Abstract（参考訳）: ソーシャルメディア上の影響力のあるキャンペーンで運用されている国家支援トロールの検出は、研究コミュニティにとって批判的かつ未解決の課題である。
この課題に対処するために,我々は,共有行動のシーケンスに関連づけられた行動的手がかりのみを通じてトロルアカウントを識別し,その行動と他者からのフィードバックの両方を包含する新しいaiベースのソリューションを提案する。
まず、LSTMベースの分類器を用いて、アカウントシーケンスが州が支援するトロルに属するか、またはオーガニックで合法的なユーザーに属するかを決定する。
第二に、分類されたシーケンスを用いて「ロールスコア」と呼ばれるメトリクスを計算し、口座がトロルのような振る舞いを示す程度を定量化する。
本手法の有効性を評価するため,2016年アメリカ合衆国大統領選挙におけるロシア干渉キャンペーンの文脈において,その効果を検討する。
提案手法は,AUCが99%に近いアカウントシーケンスを同定し,AUCが91%であるロシアのトロルとオーガニックユーザを正確に区別できることを示す。
既存の言語ベースの手法とは対照的に、それはより困難な振る舞いの方法に依存しており、特に不正なコンテンツを生成するためにLLMを使用する可能性が高くなると、影響キャンペーンの識別において大きなレジリエンスを確保できます。
最後に,様々な情報操作を駆動する様々なエンティティに対するソリューションの一般化可能性を評価し,今後の研究を導く有望な結果を見出した。
関連論文リスト
- Persuasion with Large Language Models: a Survey [49.86930318312291]
大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。
政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。
LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
論文 参考訳（メタデータ） (2024-11-11T10:05:52Z) - Beyond Trial-and-Error: Predicting User Abandonment After a Moderation Intervention [0.6918368994425961]
本稿では,Redditにおけるモデレーション介入の効果を予測する新しいタスクを提案する。
ユーザの活動、毒性、関係性、書き込みスタイルに関する情報を伝達する142の機能のセットを計算するために、138万の投稿のデータセットを使用します。
本研究は,モデレーション介入の効果を予測できる可能性を示し,予測コンテンツのモデレーションにおける新たな研究方向の道を開くものである。
論文 参考訳（メタデータ） (2024-04-23T08:52:41Z) - Debiasing Multimodal Large Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳（メタデータ） (2024-03-08T12:35:07Z) - Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳（メタデータ） (2024-01-29T17:17:42Z) - Leveraging Large Language Models to Detect Influence Campaigns in Social
Media [9.58546889761175]
ソーシャルメディアの影響は、大衆の言論や民主主義に重大な課題をもたらしている。
従来の検出方法は、ソーシャルメディアの複雑さとダイナミックな性質のために不足している。
本稿では,ユーザメタデータとネットワーク構造の両方を組み込んだLarge Language Models (LLM) を用いた新しい検出手法を提案する。
論文 参考訳（メタデータ） (2023-11-14T00:25:09Z) - Stance Detection with Collaborative Role-Infused LLM-Based Agents [39.75103353173015]
スタンス検出は、ウェブおよびソーシャルメディア研究におけるコンテンツ分析に不可欠である。
しかし、姿勢検出には、著者の暗黙の視点を推測する高度な推論が必要である。
LLMを異なる役割に指定した3段階のフレームワークを設計する。
複数のデータセットにまたがって最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-10-16T14:46:52Z) - Language Agent Tree Search Unifies Reasoning Acting and Planning in Language Models [31.509994889286183]
我々はLanguage Agent Tree Search (LATS)を紹介した。Language Agent Tree Search (LATS)は、推論、行動、計画において言語モデル(LM)の能力を相乗化する最初の一般的なフレームワークである。
当社のアプローチの重要な特徴は、より意図的で適応的な問題解決メカニズムを提供する外部フィードバック環境の導入である。
LATSは、GPT-4でHumanEval上でプログラミングするための最先端パス@1精度(92.7%)を達成し、GPTによるWebShop上のWebナビゲーションの勾配ベースの微調整に匹敵する勾配なし性能(平均スコア75.9)を示す。
論文 参考訳（メタデータ） (2023-10-06T17:55:11Z) - ReAct: Synergizing Reasoning and Acting in Language Models [44.746116256516046]
大規模言語モデル (LLM) は, 推論トレースとタスク固有動作の両方を, インターリーブ方式で生成可能であることを示す。
我々はReActという名前のアプローチを多種多様な言語と意思決定タスクに適用する。
ReActは、単純なウィキペディアAPIと対話することで、チェーン・オブ・ソート推論でよく見られる幻覚やエラーの伝播の問題を克服する。
論文 参考訳（メタデータ） (2022-10-06T01:00:32Z) - MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven
Reinforcement Learning [65.52675802289775]
本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。
正規化最大度(NML)分布の計算法を提案する。
得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
論文 参考訳（メタデータ） (2021-07-15T08:19:57Z) - Learning to Infer User Hidden States for Online Sequential Advertising [52.169666997331724]
本稿では,これらの問題に対処するディープインテントシーケンス広告(DISA)手法を提案する。
解釈可能性の鍵となる部分は、消費者の購入意図を理解することである。
論文 参考訳（メタデータ） (2020-09-03T05:12:26Z) - Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with
Latent Confounders [62.54431888432302]
無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。
我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
論文 参考訳（メタデータ） (2020-07-27T22:19:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。