論文の概要: Personalized Attacks of Social Engineering in Multi-turn Conversations -- LLM Agents for Simulation and Detection
- arxiv url: http://arxiv.org/abs/2503.15552v1
- Date: Tue, 18 Mar 2025 19:14:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 16:35:07.568916
- Title: Personalized Attacks of Social Engineering in Multi-turn Conversations -- LLM Agents for Simulation and Detection
- Title（参考訳）: マルチターン会話におけるソーシャルエンジニアリングの個人化攻撃 --シミュレーションと検出のためのLLMエージェント
- Authors: Tharindu Kumarage, Cameron Johnson, Jadie Adams, Lin Ai, Matthias Kirchner, Anthony Hoogs, Joshua Garland, Julia Hirschberg, Arslan Basharat, Huan Liu,
- Abstract要約: ソーシャルメディアプラットフォームに対する社会工学(SE)攻撃は重大なリスクをもたらす。
マルチターン会話を生成することで,SE攻撃機構をシミュレートするLLM-agentic framework,SE-VSimを提案する。
本研究は,被害者の人格に関する事前知識を活用することで,ユーザに対してパーソナライズされた保護を提供するための概念実証SE-OmniGuardを提案する。
- 参考スコア（独自算出の注目度）: 19.625518218365382
- License:
- Abstract: The rapid advancement of conversational agents, particularly chatbots powered by Large Language Models (LLMs), poses a significant risk of social engineering (SE) attacks on social media platforms. SE detection in multi-turn, chat-based interactions is considerably more complex than single-instance detection due to the dynamic nature of these conversations. A critical factor in mitigating this threat is understanding the mechanisms through which SE attacks operate, specifically how attackers exploit vulnerabilities and how victims' personality traits contribute to their susceptibility. In this work, we propose an LLM-agentic framework, SE-VSim, to simulate SE attack mechanisms by generating multi-turn conversations. We model victim agents with varying personality traits to assess how psychological profiles influence susceptibility to manipulation. Using a dataset of over 1000 simulated conversations, we examine attack scenarios in which adversaries, posing as recruiters, funding agencies, and journalists, attempt to extract sensitive information. Based on this analysis, we present a proof of concept, SE-OmniGuard, to offer personalized protection to users by leveraging prior knowledge of the victims personality, evaluating attack strategies, and monitoring information exchanges in conversations to identify potential SE attempts.
- Abstract（参考訳）: 会話エージェントの急速な進歩、特にLarge Language Models (LLMs) を利用したチャットボットは、ソーシャルメディアプラットフォームに対する社会工学(SE)攻撃に大きなリスクをもたらす。
マルチターン・チャットベースインタラクションにおけるSE検出は、これらの会話の動的な性質のため、シングルインスタンス検出よりもかなり複雑である。
この脅威を緩和する重要な要因は、SE攻撃の仕組み、特に攻撃者が脆弱性を悪用する方法、被害者の性格特性がその感受性にどのように貢献するかを理解することである。
本研究では,マルチターン会話を生成することで,SE攻撃機構をシミュレートするLLM-agentic framework,SE-VSimを提案する。
我々は、心理的プロファイルが操作に対する感受性に与える影響を評価するために、様々な性格特性を持つ被害者エージェントをモデル化する。
1000以上のシミュレートされた会話のデータセットを用いて、リクルーター、資金提供機関、ジャーナリストなどの敵が機密情報を抽出しようとする攻撃シナリオを検討する。
この分析に基づいて, 被害者の事前知識を活用し, 攻撃戦略を評価し, 会話中の情報交換を監視し, 潜在的なSEの試みを特定することで, ユーザに対してパーソナライズされた保護を提供するSE-OmniGuardを提案する。
関連論文リスト
- Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。
有害なクエリを良心的な推論タスクに再構成する。
RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
論文 参考訳（メタデータ） (2025-02-16T09:27:44Z) - TrendSim: Simulating Trending Topics in Social Media Under Poisoning Attacks with LLM-based Multi-agent System [90.09422823129961]
本研究では, LLMをベースとしたマルチエージェントシステムであるTrendSimを提案する。
具体的には、タイムアウェアなインタラクション機構、集中型メッセージ配信、対話型システムを含むトレンドトピックのシミュレーション環境を作成する。
ソーシャルメディア上でユーザをシミュレートするLLMベースのヒューマンライクエージェントを開発し,プロトタイプベースの攻撃者による毒殺攻撃の再現を提案する。
論文 参考訳（メタデータ） (2024-12-14T12:04:49Z) - Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations [58.65755268815283]
多くの実際の対話は対話的であり、つまりエージェントの発話が会話の相手に影響を与えるか、情報を引き出すか、意見を変えるかである。
この事実を利用して、既存の最適データを書き直し、拡張し、オフライン強化学習(RL)を介してトレーニングする。
実際の人間によるユーザ調査の結果、我々のアプローチは既存の最先端の対話エージェントを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-07T21:37:51Z) - Jailbreaking and Mitigation of Vulnerabilities in Large Language Models [4.564507064383306]
大規模言語モデル(LLM)は、自然言語の理解と生成を前進させることで、人工知能を変革した。
これらの進歩にもかかわらず、LSMは、特に注射と脱獄攻撃を急ぐために、かなりの脆弱性を示してきた。
このレビューでは、これらの脆弱性についての研究状況を分析し、利用可能な防衛戦略を提示する。
論文 参考訳（メタデータ） (2024-10-20T00:00:56Z) - I Want to Break Free! Persuasion and Anti-Social Behavior of LLMs in Multi-Agent Settings with Social Hierarchy [13.68625980741047]
本研究では,Large Language Model (LLM) に基づくエージェントの相互作用パターンについて,厳密な社会的階層を特徴とする文脈で検討する。
本研究では,警備員と囚人エージェントが関与するシミュレートシナリオにおける説得と反社会的行動の2つの現象について検討した。
論文 参考訳（メタデータ） (2024-10-09T17:45:47Z) - Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳（メタデータ） (2024-08-06T01:20:12Z) - Defending Against Social Engineering Attacks in the Age of LLMs [19.364994678178036]
大きな言語モデル(LLM)は、人間の会話パターンをエミュレートし、チャットベースのソーシャルエンジニアリング(CSE)攻撃を促進する。
本研究では,CSE脅威に対するファシリテーターとディフェンダーの両立能力について検討した。
メッセージレベルと会話レベルの両方の検出を改善するモジュール型ディフェンスパイプラインであるConvoSentinelを提案する。
論文 参考訳（メタデータ） (2024-06-18T04:39:40Z) - Leveraging the Context through Multi-Round Interactions for Jailbreaking Attacks [55.603893267803265]
大規模言語モデル(LLM)は、脱獄攻撃の影響を受けやすい。
脱獄攻撃は、攻撃クエリを微調整することで有害な情報を抽出することを目的としている。
我々は、コンテキストインタラクションアタックと呼ばれる新しい攻撃形式に焦点を当てる。
論文 参考訳（メタデータ） (2024-02-14T13:45:19Z) - STAA-Net: A Sparse and Transferable Adversarial Attack for Speech
Emotion Recognition [36.73727306933382]
本稿では,SERモデルを騙すために,スパースおよびトランスファー可能な逆数例を生成するジェネレータベースの攻撃手法を提案する。
我々は、広く使われている2つのSERデータセット、DEMoS(DemoS)とIEMOCAP(Interactive Emotional Dyadic Motion CAPture)について、本手法の評価を行った。
論文 参考訳（メタデータ） (2024-02-02T08:46:57Z) - PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。
しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。
本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。
実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
論文 参考訳（メタデータ） (2024-01-22T12:11:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。