論文の概要: Love, Lies, and Language Models: Investigating AI's Role in Romance-Baiting Scams
- arxiv url: http://arxiv.org/abs/2512.16280v1
- Date: Thu, 18 Dec 2025 07:59:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-19 18:10:31.973992
- Title: Love, Lies, and Language Models: Investigating AI's Role in Romance-Baiting Scams
- Title(参考訳): 恋愛、嘘、言語モデル - ロマンス・ベイティング詐欺におけるAIの役割を探る
- Authors: Gilad Gressel, Rahul Pankajakshan, Shir Rozenfeld, Ling Li, Ivan Franceschini, Krishnahsree Achuthan, Yisroel Mirsky,
- Abstract要約: ロマンス・バイティング詐欺は、何千人もの人々を強制労働に駆り立てる組織犯罪シンジケートによって実行されている。
詐欺は本質的にテキストベースであるため、現在と将来の自動化において、LLM(Large Language Models)の役割について緊急の疑問を提起する。
- 参考スコア(独自算出の注目度): 4.469631108095286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Romance-baiting scams have become a major source of financial and emotional harm worldwide. These operations are run by organized crime syndicates that traffic thousands of people into forced labor, requiring them to build emotional intimacy with victims over weeks of text conversations before pressuring them into fraudulent cryptocurrency investments. Because the scams are inherently text-based, they raise urgent questions about the role of Large Language Models (LLMs) in both current and future automation. We investigate this intersection by interviewing 145 insiders and 5 scam victims, performing a blinded long-term conversation study comparing LLM scam agents to human operators, and executing an evaluation of commercial safety filters. Our findings show that LLMs are already widely deployed within scam organizations, with 87% of scam labor consisting of systematized conversational tasks readily susceptible to automation. In a week-long study, an LLM agent not only elicited greater trust from study participants (p=0.007) but also achieved higher compliance with requests than human operators (46% vs. 18% for humans). Meanwhile, popular safety filters detected 0.0% of romance baiting dialogues. Together, these results suggest that romance-baiting scams may be amenable to full-scale LLM automation, while existing defenses remain inadequate to prevent their expansion.
- Abstract(参考訳): ロマンス・バイティング詐欺は世界中で経済的、感情的な害の主な原因となっている。
これらの活動は、何千人もの人々を強制労働に駆り立てる組織犯罪シンジケートによって運営され、不正な暗号通貨投資に圧力をかける前に、数週間にわたるテキスト会話を通じて被害者との感情的な親密さを構築する必要がある。
詐欺は本質的にテキストベースであるため、現在と将来の自動化において、LLM(Large Language Models)の役割について緊急の疑問を提起する。
本研究は,145名のインサイダーと5名の詐欺被害者をインタビューし,LLM詐欺エージェントを人間オペレータと比較した長期会話調査を行い,商業用安全フィルタの評価を行った。
その結果,LSMはすでに詐欺組織内に広く展開されており,詐欺作業の87%はシステム化された会話タスクで構成されており,自動化が容易であることがわかった。
1週間にわたる研究で、LLMエージェントは研究参加者から高い信頼を得るだけでなく(p=0.007)、人間のオペレーターよりも高いコンプライアンス(46%対18%)を達成した。
一方、一般的な安全フィルタは、ロマンスバイティングの対話の0.0%を検知した。
これらの結果から,ローマンスベイティング詐欺はLLMの完全自動化に有効である可能性が示唆された。
関連論文リスト
- Victim as a Service: Designing a System for Engaging with Interactive Scammers [29.43320237202651]
LLMベースのシステムであるCHATTERBOX(CHATTERBOX)のモチベーション,設計,実装,経験について述べる。
我々は、詐欺未遂を誘致するために開発した手法、詐欺行為を説得するために必要なシステムとLLMエンジニアリング、詐欺のワークフローにおいて「マイルストーン」を満足または回避するために必要な能力について述べる。
論文 参考訳(メタデータ) (2025-10-27T23:19:29Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳(メタデータ) (2025-10-16T05:29:36Z) - ScamAgents: How AI Agents Can Simulate Human-Level Scam Calls [0.0]
ScamAgentは、Large Language Models (LLMs)上に構築された自律マルチターンエージェントである。
我々は,ScamAgentが対話記憶を維持し,ユーザ応答のシミュレーションに動的に適応し,会話のターンにまたがる知覚的説得戦略を採用することを示す。
本研究は,多ターン型安全監査,エージェントレベル制御フレームワーク,および生成型AIによる会話の騙しを検知し,阻止する新たな手法の必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-08-08T17:01:41Z) - Promoting Online Safety by Simulating Unsafe Conversations with LLMs [1.7243216387069678]
大規模言語モデル(LLM)は、オンラインにおける安全でない会話のスピード、スケール、タイプを向上する可能性があり、すでに使用されている。
本稿では,LLMを使わずともオンラインで起こりうる,安全でない会話を人々に教えることによって,オンラインの安全性を促進する方法について検討する。
論文 参考訳(メタデータ) (2025-07-29T22:38:21Z) - Combating Phone Scams with LLM-based Detection: Where Do We Stand? [1.8979188847659796]
本研究では,大規模言語モデル(LLM)による不正通話の検出の可能性について検討する。
LLMをベースとした検出器は、潜在的な詐欺の発生を検知し、ユーザに対して即時保護を提供する。
論文 参考訳(メタデータ) (2024-09-18T02:14:30Z) - The Emerged Security and Privacy of LLM Agent: A Survey with Case Studies [58.94148083602662]
大規模言語モデル(LLM)エージェントは複雑なタスクを実行するために進化してきた。
LLMエージェントの幅広い応用は、その商業的価値を示している。
しかし、セキュリティとプライバシの脆弱性も公開している。
この調査は、LLMエージェントが直面しているプライバシーとセキュリティの問題を包括的に概観することを目的としている。
論文 参考訳(メタデータ) (2024-07-28T00:26:24Z) - The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。
本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
論文 参考訳(メタデータ) (2024-02-20T23:08:21Z) - How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to
Challenge AI Safety by Humanizing LLMs [66.05593434288625]
本稿では, 大規模言語モデル (LLM) を人間のようなコミュニケーション手段として, ジェイルブレイクの新たな視点を紹介する。
本研究では,数十年にわたる社会科学研究から派生した説得的分類法を適用し,説得的敵対的プロンプト(PAP)をジェイルブレイク LLM に適用する。
PAPは、Llama 2-7b Chat、GPT-3.5、GPT-4の攻撃成功率を10ドルで一貫して92%以上達成している。
防衛面では,PAPに対する様々なメカニズムを探索し,既存の防衛に重大なギャップがあることを見出した。
論文 参考訳(メタデータ) (2024-01-12T16:13:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。