論文の概要: On the Feasibility of Using MultiModal LLMs to Execute AR Social Engineering Attacks

• arxiv url: http://arxiv.org/abs/2504.13209v1
• Date: Wed, 16 Apr 2025 05:18:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 21:05:16.752017
• Title: On the Feasibility of Using MultiModal LLMs to Execute AR Social Engineering Attacks
• Title（参考訳）: ARソーシャルエンジニアリング攻撃に対するマルチモーダルLLMの適用可能性について
• Authors: Ting Bi, Chenghang Ye, Zheyu Yang, Ziyi Zhou, Cui Tang, Jun Zhang, Zui Tao, Kailong Wang, Liting Zhou, Yang Yang, Tianlong Yu,
• Abstract要約: マルチモーダル大規模言語モデルを用いたAR駆動型社会工学攻撃の組織化のためのフレームワークを提案する。 以上の結果から,SEARはリスクの高い行動を引き出すのに極めて有効であることが示唆された。 また, 「時折人工的な」 などの特徴的限界は, 正当性差の認識によるものである。
• 参考スコア（独自算出の注目度）: 8.28564202645918
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Augmented Reality (AR) and Multimodal Large Language Models (LLMs) are rapidly evolving, providing unprecedented capabilities for human-computer interaction. However, their integration introduces a new attack surface for social engineering. In this paper, we systematically investigate the feasibility of orchestrating AR-driven Social Engineering attacks using Multimodal LLM for the first time, via our proposed SEAR framework, which operates through three key phases: (1) AR-based social context synthesis, which fuses Multimodal inputs (visual, auditory and environmental cues); (2) role-based Multimodal RAG (Retrieval-Augmented Generation), which dynamically retrieves and integrates contextual data while preserving character differentiation; and (3) ReInteract social engineering agents, which execute adaptive multiphase attack strategies through inference interaction loops. To verify SEAR, we conducted an IRB-approved study with 60 participants in three experimental configurations (unassisted, AR+LLM, and full SEAR pipeline) compiling a new dataset of 180 annotated conversations in simulated social scenarios. Our results show that SEAR is highly effective at eliciting high-risk behaviors (e.g., 93.3% of participants susceptible to email phishing). The framework was particularly effective in building trust, with 85% of targets willing to accept an attacker's call after an interaction. Also, we identified notable limitations such as ``occasionally artificial'' due to perceived authenticity gaps. This work provides proof-of-concept for AR-LLM driven social engineering attacks and insights for developing defensive countermeasures against next-generation augmented reality threats.
• Abstract（参考訳）: Augmented Reality (AR) と Multimodal Large Language Models (LLM) は急速に進化しており、人間とコンピュータの相互作用に前例のない能力を提供している。 しかし、ソーシャルエンジニアリングのための新たなアタックサーフェスが導入されている。 本稿では,(1)マルチモーダル入力(視覚,聴覚,環境)を融合したARベースのソーシャルコンテキスト合成,(2)動的にコンテキストデータを検索・統合するロールベースのマルチモーダルRAG(Retrieval-Augmented Generation),(3)推論相互作用ループを通じて適応的なマルチフェーズアタック戦略を実行するReInteractソーシャルエンジニアリングエージェントの3つの主要なフェーズを通じて,まず,マルチモーダルLSMを用いたAR駆動型ソーシャルエンジニアリングアタックのオーケストレーションの実現可能性について,体系的に検討する。 SEARを検証するために、60名の被験者を対象に、3つの実験構成(AR+LLM、フルSEARパイプライン)を用いて、シミュレートされた社会的シナリオにおける180の注釈付き会話のデータセットをコンパイルした。 以上の結果から,SEARは高リスク行動の誘発に極めて有効であることが示唆された(例:93.3%)。 このフレームワークは特に信頼の構築に有効であり、標的の85%が相互作用後の攻撃者の呼び出しを受け入れようとしていた。 また,「時折人工的」のような,正当性差の知覚による特徴的限界も見いだした。 この研究は、AR-LLMによるソーシャルエンジニアリング攻撃に対する概念実証と、次世代の拡張現実脅威に対する防御対策を開発するための洞察を提供する。

関連論文リスト

• Personalized Attacks of Social Engineering in Multi-turn Conversations -- LLM Agents for Simulation and Detection [19.625518218365382]
  ソーシャルメディアプラットフォームに対する社会工学(SE)攻撃は重大なリスクをもたらす。 マルチターン会話を生成することで,SE攻撃機構をシミュレートするLLM-agentic framework,SE-VSimを提案する。 本研究は,被害者の人格に関する事前知識を活用することで,ユーザに対してパーソナライズされた保護を提供するための概念実証SE-OmniGuardを提案する。
  論文  参考訳（メタデータ） (2025-03-18T19:14:44Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Multi-Agent Collaboration in Incident Response with Large Language Models [0.0]
  インシデント対応(IR)はサイバーセキュリティの重要な側面であり、サイバー攻撃を効果的に対処するために、迅速な意思決定と協調的な努力が必要である。 大きな言語モデル(LLM)をインテリジェントエージェントとして活用することは、IRシナリオにおけるコラボレーションと効率を高めるための新しいアプローチを提供する。 本稿では,Backdoors & Breaches フレームワークを用いた LLM ベースのマルチエージェントコラボレーションの適用について検討する。
  論文  参考訳（メタデータ） (2024-12-01T03:12:26Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• ALIF: Low-Cost Adversarial Audio Attacks on Black-Box Speech Platforms using Linguistic Features [25.28307679567351]
  ALIFは、最初のブラックボックス対応言語機能ベースのアタックパイプラインである。 本稿では,デジタルドメインと物理再生環境の両方で攻撃を開始するためのALIF-OTLおよびALIF-OTAスキームを提案する。
  論文  参考訳（メタデータ） (2024-08-03T15:30:16Z)
• SocialGFs: Learning Social Gradient Fields for Multi-Agent Reinforcement Learning [58.84311336011451]
  マルチエージェント強化学習のための新しい勾配に基づく状態表現を提案する。 オフラインサンプルからソーシャルグラデーションフィールド(SocialGF)を学習するために,デノジングスコアマッチングを採用している。 実際に、SocialGFをMAPPOなど、広く使われているマルチエージェント強化学習アルゴリズムに統合する。
  論文  参考訳（メタデータ） (2024-05-03T04:12:19Z)
• Multi-Agent Dynamic Relational Reasoning for Social Robot Navigation [50.01551945190676]
  社会ロボットナビゲーションは、日常生活の様々な状況において有用であるが、安全な人間とロボットの相互作用と効率的な軌道計画が必要である。 本稿では, 動的に進化する関係構造を明示的に推論した系統的関係推論手法を提案する。 マルチエージェント軌道予測とソーシャルロボットナビゲーションの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-22T18:58:22Z)
• LLM-Based Agent Society Investigation: Collaboration and Confrontation in Avalon Gameplay [55.12945794835791]
  Avalon をテストベッドとして使用し,システムプロンプトを用いてゲームプレイにおける LLM エージェントの誘導を行う。 本稿では,Avalonに適した新しいフレームワークを提案し,効率的なコミュニケーションと対話を容易にするマルチエージェントシステムを提案する。 その結果、適応エージェントの作成におけるフレームワークの有効性を確認し、動的社会的相互作用をナビゲートするLLMベースのエージェントの可能性を提案する。
  論文  参考訳（メタデータ） (2023-10-23T14:35:26Z)
• Attacks in Adversarial Machine Learning: A Systematic Survey from the Life-cycle Perspective [69.25513235556635]
  敵対的機械学習(英: Adversarial Machine Learning、AML)は、機械学習の逆行現象を研究する。 機械学習システムの異なる段階で発生するこの敵対現象を探求するために、いくつかのパラダイムが最近開発された。 既存の攻撃パラダイムをカバーするための統一的な数学的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-02-19T02:12:21Z)
• Asynchronous Multi-Agent Reinforcement Learning for Efficient Real-Time Multi-Robot Cooperative Exploration [16.681164058779146]
  本稿では,複数のロボットが,未知の領域をできるだけ早く探索する必要がある,協調探索の課題について考察する。 既存のMARLベースの手法では、すべてのエージェントが完全に同期的に動作していると仮定して、探索効率の指標としてアクション作成ステップを採用している。 本稿では,非同期MARLソリューションであるAsynchronous Coordination Explorer (ACE)を提案する。
  論文  参考訳（メタデータ） (2023-01-09T14:53:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。