論文の概要: The Shadow of Fraud: The Emerging Danger of AI-powered Social Engineering and its Possible Cure

• arxiv url: http://arxiv.org/abs/2407.15912v1
• Date: Mon, 22 Jul 2024 17:37:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 21:25:10.013405
• Title: The Shadow of Fraud: The Emerging Danger of AI-powered Social Engineering and its Possible Cure
• Title（参考訳）: 詐欺の影:AIによるソーシャルエンジニアリングの新たな脅威とその可能性
• Authors: Jingru Yu, Yi Yu, Xuhong Wang, Yilun Lin, Manzhi Yang, Yu Qiao, Fei-Yue Wang,
• Abstract要約: 社会工学(SE)攻撃は個人と組織双方にとって重大な脅威である。 人工知能(AI)の進歩は、よりパーソナライズされ説得力のある攻撃を可能にすることによって、これらの脅威を強化する可能性がある。 本研究は、SE攻撃機構を分類し、その進化を分析し、これらの脅威を測定する方法を探る。
• 参考スコア（独自算出の注目度）: 30.431292911543103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Social engineering (SE) attacks remain a significant threat to both individuals and organizations. The advancement of Artificial Intelligence (AI), including diffusion models and large language models (LLMs), has potentially intensified these threats by enabling more personalized and convincing attacks. This survey paper categorizes SE attack mechanisms, analyzes their evolution, and explores methods for measuring these threats. It highlights the challenges in raising awareness about the risks of AI-enhanced SE attacks and offers insights into developing proactive and adaptable defense strategies. Additionally, we introduce a categorization of the evolving nature of AI-powered social engineering attacks into "3E phases": Enlarging, wherein the magnitude of attacks expands through the leverage of digital media; Enriching, introducing novel attack vectors and techniques; and Emerging, signifying the advent of novel threats and methods. Moreover, we emphasize the necessity for a robust framework to assess the risk of AI-powered SE attacks. By identifying and addressing gaps in existing research, we aim to guide future studies and encourage the development of more effective defenses against the growing threat of AI-powered social engineering.
• Abstract（参考訳）: 社会工学(SE)攻撃は個人と組織双方にとって重大な脅威である。 拡散モデルや大言語モデル(LLM)を含む人工知能(AI)の進歩は、よりパーソナライズされ説得力のある攻撃を可能にすることによって、これらの脅威を強化する可能性がある。 本研究は、SE攻撃機構を分類し、その進化を分析し、これらの脅威を測定する方法を探る。 AIに強化されたSE攻撃のリスクに対する認識を高める上での課題を強調し、積極的で適応可能な防衛戦略の開発に関する洞察を提供する。 さらに、我々は、AIを活用した社会工学攻撃の進化する性質を「3Eフェーズ」に分類する: 拡大、デジタルメディアの活用による攻撃の規模の拡大、新しい攻撃ベクトルやテクニックの強化、そして新しい脅威や手法の出現を象徴する創発。 さらに、AIによるSE攻撃のリスクを評価するための堅牢なフレームワークの必要性を強調した。 既存の研究のギャップを特定し、対処することで、我々は将来の研究をガイドし、AIによる社会工学の脅威の増大に対するより効果的な防御の開発を促進することを目指している。

関連論文リスト

• Computational Safety for Generative AI: A Signal Processing Perspective [65.268245109828]
  計算安全性は、GenAIにおける安全性の定量的評価、定式化、研究を可能にする数学的枠組みである。 ジェイルブレイクによる悪意のあるプロンプトを検出するために, 感度解析と損失景観解析がいかに有効かを示す。 我々は、AIの安全性における信号処理の鍵となる研究課題、機会、そして重要な役割について論じる。
  論文  参考訳（メタデータ） (2025-02-18T02:26:50Z)
• Safety at Scale: A Comprehensive Survey of Large Model Safety [299.801463557549]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Considerations Influencing Offense-Defense Dynamics From Artificial Intelligence [0.0]
  AIは防御能力を向上するだけでなく、悪意ある搾取と大規模な社会的危害のための道も提示する。 本稿では、AIシステムが主に脅威を生じているか、社会に保護的利益をもたらすかに影響を及ぼす主要な要因をマップし、検証するための分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-05T10:05:53Z)
• Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI [52.138044013005]
  生成AI、特に大規模言語モデル(LLM)は、製品アプリケーションにますます統合される。 新たな攻撃面と脆弱性が出現し、自然言語やマルチモーダルシステムにおける敵の脅威に焦点を当てる。 レッドチーム(英語版)はこれらのシステムの弱点を積極的に識別する上で重要となり、ブルーチーム(英語版)はそのような敵の攻撃から保護する。 この研究は、生成AIシステムの保護のための学術的な洞察と実践的なセキュリティ対策のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-09-23T10:18:10Z)
• Autonomous Threat Hunting: A Future Paradigm for AI-Driven Threat Intelligence [0.0]
  人工知能(AI)と従来の脅威インテリジェンス方法論の融合を概観する。 従来の脅威インテリジェンスプラクティスに対するAIと機械学習の変革的な影響を検査する。 ケーススタディと評価は、AI駆動の脅威インテリジェンスを採用する組織から学んだ成功物語と教訓を強調している。
  論文  参考訳（メタデータ） (2023-12-30T17:36:08Z)
• Towards more Practical Threat Models in Artificial Intelligence Security [66.67624011455423]
  最近の研究で、人工知能のセキュリティの研究と実践のギャップが特定されている。 我々は、AIセキュリティ研究で最も研究されている6つの攻撃の脅威モデルを再検討し、実際にAIの使用と一致させる。
  論文  参考訳（メタデータ） (2023-11-16T16:09:44Z)
• Managing extreme AI risks amid rapid progress [171.05448842016125]
  我々は、大規模社会被害、悪意のある使用、自律型AIシステムに対する人間の制御の不可逆的な喪失を含むリスクについて説明する。 このようなリスクがどのように発生し、どのように管理するかについては、合意の欠如があります。 現在のガバナンスイニシアチブには、誤用や無謀を防ぎ、自律システムにほとんど対処するメカニズムや制度が欠けている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:06Z)
• Digital Deception: Generative Artificial Intelligence in Social Engineering and Phishing [7.1795069620810805]
  本稿では,社会工学(SE)攻撃における生成AIの変革的役割について考察する。 我々は、社会工学の理論を用いて、ジェネレーティブAIがSE攻撃の影響を増幅する3つの柱を特定する。 本研究は, この新たなパラダイムに関連するリスク, 人的影響, 対策について, より深く理解することを目的としている。
  論文  参考訳（メタデータ） (2023-10-15T07:55:59Z)
• Decoding the Threat Landscape : ChatGPT, FraudGPT, and WormGPT in Social Engineering Attacks [0.0]
  ジェネレーティブAIモデルは、サイバー攻撃の分野に革命をもたらし、悪意あるアクターに、説得力がありパーソナライズされたフィッシングルアーを作る力を与えている。 これらのモデルであるChatGPT、FraudGPT、WormGPTは、既存の脅威を増大させ、新たなリスクの次元へと導いてきた。 これらの脅威に対処するため、従来のセキュリティ対策、AIによるセキュリティソリューション、サイバーセキュリティにおける協調的なアプローチなど、さまざまな戦略を概説する。
  論文  参考訳（メタデータ） (2023-10-09T10:31:04Z)
• On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
  我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。 我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。 ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
  論文  参考訳（メタデータ） (2023-05-03T18:47:42Z)
• Security and Privacy for Artificial Intelligence: Opportunities and Challenges [11.368470074697747]
  近年、ほとんどのAIモデルは高度なハッキング技術に弱い。 この課題は、敵AIの研究努力を共同で進めるきっかけとなった。 我々は、AIアプリケーションに対する敵攻撃を実証する総合的なサイバーセキュリティレビューを提示する。
  論文  参考訳（メタデータ） (2021-02-09T06:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。