論文の概要: Send to which account? Evaluation of an LLM-based Scambaiting System
- arxiv url: http://arxiv.org/abs/2509.08493v1
- Date: Wed, 10 Sep 2025 11:08:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-11 15:16:52.401624
- Title: Send to which account? Evaluation of an LLM-based Scambaiting System
- Title（参考訳）: どちらに注意するか : LLMに基づく詐欺システムの評価
- Authors: Hossein Siadati, Haadi Jafarian, Sima Jafarikhah,
- Abstract要約: 本稿では,大規模言語モデル(LLM)を用いたスカンバイティングシステムの大規模実世界評価について述べる。
5ヶ月にわたるデプロイメントで、システムは実際のスキャマーと2,600以上のエンゲージメントを開始し、18,700以上のメッセージのデータセットを作成した。
情報開示率(IDR)は約32%に達し、ラバ口座などの機密情報を抽出することに成功している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scammers are increasingly harnessing generative AI(GenAI) technologies to produce convincing phishing content at scale, amplifying financial fraud and undermining public trust. While conventional defenses, such as detection algorithms, user training, and reactive takedown efforts remain important, they often fall short in dismantling the infrastructure scammers depend on, including mule bank accounts and cryptocurrency wallets. To bridge this gap, a proactive and emerging strategy involves using conversational honeypots to engage scammers and extract actionable threat intelligence. This paper presents the first large-scale, real-world evaluation of a scambaiting system powered by large language models (LLMs). Over a five-month deployment, the system initiated over 2,600 engagements with actual scammers, resulting in a dataset of more than 18,700 messages. It achieved an Information Disclosure Rate (IDR) of approximately 32%, successfully extracting sensitive financial information such as mule accounts. Additionally, the system maintained a Human Acceptance Rate (HAR) of around 70%, indicating strong alignment between LLM-generated responses and human operator preferences. Alongside these successes, our analysis reveals key operational challenges. In particular, the system struggled with engagement takeoff: only 48.7% of scammers responded to the initial seed message sent by defenders. These findings highlight the need for further refinement and provide actionable insights for advancing the design of automated scambaiting systems.
- Abstract（参考訳）: Scammersは、ジェネレーティブAI(GenAI)技術を活用して、説得力のあるフィッシングコンテンツを大規模に生成し、金融詐欺を増幅し、公衆信頼を弱めている。
検出アルゴリズムやユーザトレーニング、リアクティブな削除といった従来の防御策は依然として重要だが、不正な銀行口座や暗号通貨ウォレットなど、インフラストラクチャの散乱を分解するのに不足することが多い。
このギャップを埋めるために、活発で新興的な戦略は、会話的なハニーポットを使用して、詐欺と行動可能な脅威知性を抽出する。
本稿では,大規模言語モデル(LLM)を用いたスカンバイティングシステムの大規模な実世界評価について述べる。
5ヶ月にわたるデプロイメントで、システムは実際のスキャマーと2,600以上のエンゲージメントを開始し、18,700以上のメッセージのデータセットを作成した。
情報開示率(IDR)は約32%に達し、ラバ口座などの機密情報を抽出することに成功している。
さらに、このシステムは、約70%のHuman Acceptance Rate(HAR)を維持しており、LLM生成応答と人間の操作者の嗜好の強い一致を示している。
これらの成功と共に、我々の分析は重要な運用上の課題を明らかにしている。
特に、システムはエンゲージメントの離陸に苦しんだが、守備隊が送った最初のシードメッセージに反応した詐欺師の48.7%しかいなかった。
これらの知見は、さらなる改良の必要性を強調し、自動化されたスカンバイティングシステムの設計を進めるための実用的な洞察を提供する。
関連論文リスト
- CASE: An Agentic AI Framework for Enhancing Scam Intelligence in Digital Payments [0.24378845585726894]
本稿では,新しいエージェントAIフレームワークであるCASE(Conversational Agent for Scam Elucidation)を提案する。
会話エージェントは、潜在的な犠牲者を積極的にインタビューし、詳細な会話の形でインテリジェンスを引き出すように設計されている。
この新しいインテリジェンスによって既存の機能を増強することで、詐欺行為の量で21%のアップリフトが観測された。
論文 参考訳（メタデータ） (2025-08-27T14:47:33Z) - Deep Learning Approaches for Anti-Money Laundering on Mobile Transactions: Review, Framework, and Directions [51.43521977132062]
マネーロンダリング(英: Money laundering)は、不正資金の起源を隠蔽する金融犯罪である。
モバイル決済プラットフォームとスマートIoTデバイスの普及は、マネーロンダリング対策をかなり複雑にしている。
本稿では,AMLにおけるディープラーニングソリューションとその利用に関する課題について,包括的レビューを行う。
論文 参考訳（メタデータ） (2025-03-13T05:19:44Z) - Human-Readable Adversarial Prompts: An Investigation into LLM Vulnerabilities Using Situational Context [45.821481786228226]
本研究では,状況文脈を利用した状況駆動型逆転フルプロンプトが効果的であるが,検出がはるかに困難であることを示す。
映画脚本を状況的文脈の枠組みとして利用する攻撃を開発した。
我々は, p-核サンプリングによるAdvPrompterフレームワークを拡張し, 多様な可読テキストを生成する。
論文 参考訳（メタデータ） (2024-12-20T21:43:52Z) - Exposing LLM Vulnerabilities: Adversarial Scam Detection and Performance [16.9071617169937]
本稿では, 大規模言語モデル (LLM) の脆弱性を, 詐欺検出のタスクに対して対向詐欺メッセージに直面する際の脆弱性について検討する。
我々は、オリジナルメッセージと逆詐欺メッセージの両方を含む、きめ細かいスカムメッセージのラベル付き包括的なデータセットを作成しました。
分析の結果, LLMの脆弱性を利用した逆例は, 高い誤分類率をもたらすことがわかった。
論文 参考訳（メタデータ） (2024-12-01T00:13:28Z) - Mitigating Backdoor Threats to Large Language Models: Advancement and Challenges [46.032173498399885]
大規模言語モデル(LLM)は、Web検索、ヘルスケア、ソフトウェア開発など、さまざまな領域に大きな影響を与えている。
これらのモデルがスケールするにつれて、サイバーセキュリティのリスク、特にバックドア攻撃に対する脆弱性が高まる。
論文 参考訳（メタデータ） (2024-09-30T06:31:36Z) - Combating Phone Scams with LLM-based Detection: Where Do We Stand? [1.8979188847659796]
本研究では,大規模言語モデル(LLM)による不正通話の検出の可能性について検討する。
LLMをベースとした検出器は、潜在的な詐欺の発生を検知し、ユーザに対して即時保護を提供する。
論文 参考訳（メタデータ） (2024-09-18T02:14:30Z) - Detecting and Understanding Vulnerabilities in Language Models via Mechanistic Interpretability [44.99833362998488]
大規模言語モデル(LLM)は、幅広いタスクで素晴らしいパフォーマンスを示している。
特にLSMは敵攻撃に弱いことが知られており、入力に対する非受容的な変更はモデルの出力を誤解させる可能性がある。
本稿では,メカニスティック・インタプリタビリティ(MI)技術に基づく手法を提案する。
論文 参考訳（メタデータ） (2024-07-29T09:55:34Z) - Prompted Contextual Vectors for Spear-Phishing Detection [41.26408609344205]
スパイアフィッシング攻撃は重大なセキュリティ上の課題を示す。
本稿では,新しい文書ベクトル化手法に基づく検出手法を提案する。
提案手法は, LLM生成したスピアフィッシングメールの識別において, 91%のF1スコアを達成する。
論文 参考訳（メタデータ） (2024-02-13T09:12:55Z) - Detecting Scams Using Large Language Models [19.7220607313348]
大規模言語モデル(LLM)は、セキュリティなど、様々なアプリケーションで注目を集めている。
本稿では,サイバーセキュリティの重要な側面である詐欺検知におけるLCMの有用性について検討する。
フィッシング、前払い詐欺、ロマンス詐欺などの詐欺を識別するためのLLMの新しいユースケースを提案する。
論文 参考訳（メタデータ） (2024-02-05T16:13:54Z) - Automatic Scam-Baiting Using ChatGPT [0.46040036610482665]
本稿では,ChatGPTをベースとした2つの自動詐欺バイターの有効性を,コントロール尺度に比較した1ヶ月の試験結果について報告する。
250人以上の実メール詐欺師の関与により、ChatGPTベースの詐欺バイターは、スパム反応率と会話の長さが著しく増加したことが判明した。
本稿では,これらの結果の意義と,自動詐欺ベイティングの広範な展開に向けた実践的考察について論じる。
論文 参考訳（メタデータ） (2023-09-04T13:13:35Z) - Deep convolutional forest: a dynamic deep ensemble approach for spam
detection in text [219.15486286590016]
本稿では,スパム検出のための動的深層アンサンブルモデルを提案する。
その結果、このモデルは高い精度、リコール、f1スコア、98.38%の精度を達成した。
論文 参考訳（メタデータ） (2021-10-10T17:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。