論文の概要: AgentPhishing: A Benchmark of LLM Email Agents Under Adaptive Attack
- arxiv url: http://arxiv.org/abs/2610.31404v1
- Date: Thu, 22 Oct 2026 15:07:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.419424
- Title: AgentPhishing: A Benchmark of LLM Email Agents Under Adaptive Attack
- Title（参考訳）: AgentPhishing: 適応攻撃中のLLMメールエージェントのベンチマーク
- Abstract要約: 本研究では,偽フィッシング攻撃が検出を回避し,メールエージェントに悪意ある要求に従わせることができるかどうかを評価するベンチマークを開発する。
我々はCialdiniの説得原理を用いて生成されたメールを分析し、エージェント障害に関連する戦略を特定する。
評価の結果、エージェントは既存のフィッシングメールを安全に扱えるが、エージェントの行動に適応した攻撃には影響しないことが明らかとなった。
- 参考スコア（独自算出の注目度）: 36.92634416372316
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-use agents increasingly handle private information and act on users' behalf across desktop and web applications, including email. Phishing therefore poses privacy and security risks that depend not only on whether agents recognize malicious messages, but also on how they respond. Existing phishing datasets were developed primarily for conventional detection, leaving agent susceptibility to persuasive malicious requests insufficiently characterized. To expose vulnerabilities that pre-existing datasets may miss, we introduce AgentPhishing, a benchmark for evaluating whether persuasive phishing attacks can evade detection and induce LLM email agents to comply with malicious requests. We develop PhishOpt, which optimizes reusable email-generation skills against individual agents under fixed benchmark constraints and a realism constraint. We analyze the generated emails using Cialdini's persuasion principles to identify strategies associated with agent failures and use these findings to construct a universal generation skill. Our evaluation shows that agents can handle pre-existing phishing emails safely yet remain susceptible to attacks adapted to agent behavior, while in an AgentPhishing evaluation of nine agents, four exhibit phishing-detection rates below $10\%$ and malicious-request compliance rates above $45\%$. These results highlight the limits of inferring agent safety from conventional phishing evaluations and the need to assess how agents respond to persuasive malicious requests.
- Abstract（参考訳）: コンピュータ利用エージェントは、ますますプライベート情報を扱い、Eメールを含むデスクトップおよびウェブアプリケーションでユーザーの代理として機能する。
したがって、フィッシングは、悪意のあるメッセージを認識するかどうかだけでなく、どのように反応するかにも依存するプライバシーとセキュリティのリスクを引き起こす。
既存のフィッシングデータセットは主に従来の検出のために開発され、悪意のある要求を説得するエージェントの感受性は不十分であった。
既存のデータセットが見逃す可能性のある脆弱性を明らかにするために、我々はAgentPhishingを紹介した。これは、説得力のあるフィッシング攻撃が検出を回避し、悪意のある要求に準拠するようにLLMメールエージェントを誘導するかどうかを評価するベンチマークである。
我々は,固定ベンチマーク制約とリアリズム制約の下で,個人エージェントに対して再利用可能な電子メール生成スキルを最適化するPhishOptを開発した。
我々は,シアルディーニの説得原理を用いて生成されたメールを分析し,エージェント障害に関連する戦略を特定し,これらの発見を用いて普遍的な生成スキルを構築する。
評価の結果、エージェントは既存のフィッシングメールを安全に扱えるが、エージェントの行動に適応した攻撃には影響を受けないことが明らかとなり、エージェントPhishing評価では、9エージェントのエージェントに対して、フィッシング検出率は10 %以下、悪意のある要求コンプライアンスは45 %以上である。
これらの結果は、従来のフィッシング評価からエージェントの安全性を推測することの限界と、エージェントが説得力のある悪意のある要求にどのように反応するかを評価することの必要性を強調している。
関連論文リスト
- CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents [58.28055202832338]
言語モデルエージェントは日々のデジタル雑用を自動化するためにますますデプロイされている。
この機能は、フィッシングに機密情報を公開する。
CredLeak-Benchは、ヒューマンタスクの効果的かつセキュアなエージェントの自動化を評価するために設計されたベンチマークである。
論文 参考訳（メタデータ） (2026-10-06T05:07:33Z) - Known By Their Actions: Fingerprinting LLM Browser Agents via UI Traces [5.370915507935483]
エージェントのアクションとインタラクションのタイミングは、受動的JavaScriptトラッカーによってキャプチャされ、F1が最大96%の基盤モデルを特定するのに十分であることを示す。
私たちはハーネスとラベル付きエージェントトレースのコーパスをリリースします。
論文 参考訳（メタデータ） (2026-05-14T12:55:19Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - It's a TRAP! Task-Redirecting Agent Persuasion Benchmark for Web Agents [52.81924177620322]
大規模な言語モデルを利用したWebベースのエージェントは、メール管理やプロフェッショナルネットワーキングといったタスクにますます利用されている。
動的Webコンテンツへの依存は、インジェクション攻撃の引き金に弱い: インターフェース要素に隠された敵対的命令は、エージェントが元のタスクから逸脱するように説得する。
本稿では,タスクリダイレクトエージェントの説得ベンチマーク(TRAP)について紹介する。
論文 参考訳（メタデータ） (2025-12-29T01:09:10Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - PiMRef: Detecting and Explaining Ever-evolving Spear Phishing Emails with Knowledge Base Invariants [15.892817656568063]
フィッシングメールは、幅広いリーチと低コストのため、サイバー犯罪の殺し屋にとって重要な要素である。
本稿では,知識に基づく不変量を利用した参照型フィッシングメール検出装置であるPiMRefを提案する。
3年間に5つの大学アカウントで10,183通のメールを実世界で評価した結果、PiMRefは92.1%の精度、87.9%のリコール、0.05の中央値ランタイムを達成した。
論文 参考訳（メタデータ） (2025-07-21T08:53:41Z) - MultiPhishGuard: An LLM-based Multi-Agent System for Phishing Email Detection [3.187381965457262]
MultiPhishGuardは動的マルチエージェント検出システムである。
本フレームワークでは, 政策最適化強化学習アルゴリズムを用いて, 自動決定重み付けを行う5つの協調エージェントを用いる。
実験により、MultiPhishGuardは偽陽性(2.73%)と偽陰性率(0.20%)で高い精度(97.89%)を達成することが示された。
論文 参考訳（メタデータ） (2025-05-26T23:27:15Z) - Debate-Driven Multi-Agent LLMs for Phishing Email Detection [0.0]
エージェント間の偽りの議論をシミュレートしてフィッシングメールを検出する多エージェント大規模言語モデル(LLM)を提案する。
提案手法では,2つの LLM エージェントを用いて,最終判断を代弁する判断エージェントを用いて,分類課題の論拠を提示する。
結果は、議論の構造自体が、余分なプロンプト戦略を伴わずに正確な決定を下すのに十分であることを示している。
論文 参考訳（メタデータ） (2025-03-27T23:18:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。