論文の概要: Synthetic Trust Attacks: Modeling How Generative AI Manipulates Human Decisions in Social Engineering Fraud

• arxiv url: http://arxiv.org/abs/2604.04951v1
• Date: Thu, 02 Apr 2026 23:09:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.355592
• Title: Synthetic Trust Attacks: Modeling How Generative AI Manipulates Human Decisions in Social Engineering Fraud
• Title（参考訳）: 総合トラスト攻撃: 生成AIが社会工学における人間の決定をどう制御するかをモデル化する
• Authors: Muhammad Tahir Ashraf,
• Abstract要約: 本稿では、公式な脅威カテゴリとして、Synthetic Trust Attacks (STA)を提案する。 STAMは8段階の運用フレームワークで、敵の偵察から順守後のレバレッジまでの全攻撃チェーンをカバーする。 本稿は,著者が開発したCalm, Check, Confirmプロトコルを研究グレードの意思決定層防衛として運用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Imagine receiving a video call from your CFO, surrounded by colleagues, asking you to urgently authorise a confidential transfer. You comply. Every person on that call was fake, and you just lost $25 million. This is not a hypothetical. It happened in Hong Kong in January 2024, and it is becoming the template for a new generation of fraud. AI has not invented a new crime. It has industrialised an ancient one: the manufacture of trust. This paper proposes Synthetic Trust Attacks (STAs) as a formal threat category and introduces STAM, the Synthetic Trust Attack Model, an eight-stage operational framework covering the full attack chain from adversary reconnaissance through post-compliance leverage. The core argument is this: existing defenses target synthetic media detection, but the real attack surface is the victim's decision. When human deepfake detection accuracy sits at approximately 55.5%, barely above chance, and LLM scam agents achieve 46% compliance versus 18% for human operators while evading safety filters entirely, the perception layer has already failed. Defense must move to the decision layer. We present a five-category Trust-Cue Taxonomy, a reproducible 17-field Incident Coding Schema with a pilot-coded example, and four falsifiable hypotheses linking attack structure to compliance outcomes. The paper further operationalizes the author's practitioner-developed Calm, Check, Confirm protocol as a research-grade decision-layer defense. Synthetic credibility, not synthetic media, is the true attack surface of the AI fraud era.
• Abstract（参考訳）: 同僚に囲まれたCFOからビデオ通話を受け取り、緊急に秘密の転送を許可するよう求めているところを想像してみてほしい。 あなたは従う。 その電話の人全員が偽物で、2500万ドル(約2億5000万円)の損失を被った。 これは仮説ではない。 これは2024年1月に香港で発生し、新しい世代の詐欺のテンプレートになりつつある。 AIは新たな犯罪を発明していない。 古いもの、すなわち信頼の創造を工業化した。 本稿では,Stynthetic Trust Attacks (STA) を形式的脅威カテゴリとして提案し,STAM(Synthetic Trust Attack Model, 総合信頼攻撃モデル)を紹介した。 既存の防御は合成メディアの検出をターゲットにしているが、本当の攻撃面は被害者の決定である。 人間のディープフェイク検出精度が55.5%とほぼ低い場合、LLMの詐欺師は人間のオペレーターに対して46%のコンプライアンスを達成し、安全フィルターを完全に回避する一方、認識層はすでに失敗している。 防衛は決定層に移動しなければならない。 本稿では,5カテゴリのTrust-Cue分類,パイロットコードを用いた再現可能な17フィールドインシデント符号化スキーマ,およびアタック構造とコンプライアンス結果とをリンクする4つの仮説を提示する。 本稿は,著者が開発したCalm, Check, Confirmプロトコルを研究グレードの意思決定層防衛として運用する。 合成メディアではなく合成信頼性は、AI詐欺時代の真の攻撃面である。

関連論文リスト

• How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition [48.32744727426218]
  LLMベースのエージェントは、電子メール、ドキュメント、コードリポジトリなどの外部データソースを処理する高利得設定にますますデプロイされている。 これにより間接的なプロンプトインジェクション攻撃が発生し、外部コンテンツに埋め込まれた敵の命令は、ユーザの意識なしにエージェントの動作を操作できる。 この2つの目的を3つのエージェント設定で評価した。
  論文  参考訳（メタデータ） (2026-03-16T14:49:36Z)
• Lying with Truths: Open-Channel Multi-Agent Collusion for Belief Manipulation via Generative Montage [18.964773489734547]
  大規模言語モデル(LLM)がリアルタイム情報を合成する自律エージェントに遷移するにつれて、それらの推論能力は予期せぬ攻撃面をもたらす。 本稿では,公衆チャネルを通じて配布される真正な証拠断片のみを用いて,被害者の信念を占拠する新たな脅威について紹介する。
  論文  参考訳（メタデータ） (2026-01-04T22:50:23Z)
• Evaluating the Robustness of the "Ensemble Everything Everywhere" Defense [90.7494670101357]
  あらゆるものをアンサンブルすることは、敵の例に対する防御である。 この防御は敵の攻撃に対して堅牢ではないことを示す。 次に、標準的なアダプティブアタック技術を用いて、防御の堅牢な精度を低下させる。
  論文  参考訳（メタデータ） (2024-11-22T10:17:32Z)
• Asymmetric Bias in Text-to-Image Generation with Adversarial Attacks [21.914674640285337]
  本稿では、攻撃成功率(ASR)に関連する要因の分析に焦点をあてる。 敵接尾辞と2つの勾配に基づく攻撃アルゴリズムを用いた新たな攻撃目標であるエンティティスワップを導入する。 敵の攻撃で成功確率が60%になる状況と、この確率が5%以下に低下する状況を見いだす。
  論文  参考訳（メタデータ） (2023-12-22T05:10:32Z)
• PubDef: Defending Against Transfer Attacks From Public Models [6.0012551318569285]
  本稿では,公用サロゲートモデルによる転送攻撃を敵が頼りにする,新たな実用的脅威モデルを提案する。 本研究では,この環境での移動攻撃を評価し,ゲーム理論の観点から専門的な防御手法を提案する。 この脅威モデルの下では、我々の防衛であるPubDefは、最先端のホワイトボックス対敵訓練を、通常の精度でほとんど損なわない大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2023-10-26T17:58:08Z)
• A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
  IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。 我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。 このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
  論文  参考訳（メタデータ） (2023-07-20T17:33:25Z)
• Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against Fact-Verification Systems [80.3811072650087]
  証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。 この攻撃は、主張のポストホックな修正に対しても堅牢である。 これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-09-07T13:39:24Z)
• DF-Captcha: A Deepfake Captcha for Preventing Fake Calls [7.714772499501984]
  社会工学(社会工学、英: Social Engineering、SE)は、データ、情報、ネットワーク、さらにはお金へのアクセスを騙すことを目的とした詐欺の一種である。 ディープフェイク技術は、電話で誰かの声をクローンしたり、ビデオ通話で顔を再現したりするために、リアルタイムで展開することができる。 組織や個人がディープフェイクSE攻撃から守る軽量なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-08-17T20:40:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。