論文の概要: SCRIPTMIND: Crime Script Inference and Cognitive Evaluation for LLM-based Social Engineering Scam Detection System

• arxiv url: http://arxiv.org/abs/2601.13581v1
• Date: Tue, 20 Jan 2026 04:11:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.151449
• Title: SCRIPTMIND: Crime Script Inference and Cognitive Evaluation for LLM-based Social Engineering Scam Detection System
• Title（参考訳）: SCRIPTMIND: LLMを用いた社会工学カメラ検出システムにおける犯罪スクリプト推論と認知評価
• Authors: Heedou Kim, Changsik Kim, Sanghwa Shin, Jaewoo Kang,
• Abstract要約: ソーシャルエンジニアリングの詐欺は、パーソナライズされたマルチターン詐欺をますます採用している。 大規模言語モデル(LLM)は詐欺の特定を約束する一方で、認知支援の可能性はまだ探索されていない。 自動推論と人間の認識を橋渡しするLLMベースの詐欺検出のための統合フレームワークScriptMindを提案する。
• 参考スコア（独自算出の注目度）: 14.704193787708872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social engineering scams increasingly employ personalized, multi-turn deception, exposing the limits of traditional detection methods. While Large Language Models (LLMs) show promise in identifying deception, their cognitive assistance potential remains underexplored. We propose ScriptMind, an integrated framework for LLM-based scam detection that bridges automated reasoning and human cognition. It comprises three components: the Crime Script Inference Task (CSIT) for scam reasoning, the Crime Script-Aware Inference Dataset (CSID) for fine-tuning small LLMs, and the Cognitive Simulation-based Evaluation of Social Engineering Defense (CSED) for assessing real-time cognitive impact. Using 571 Korean phone scam cases, we built 22,712 structured scammer-sequence training instances. Experimental results show that the 11B small LLM fine-tuned with ScriptMind outperformed GPT-4o by 13%, achieving superior performance over commercial models in detection accuracy, false-positive reduction, scammer utterance prediction, and rationale quality. Moreover, in phone scam simulation experiments, it significantly enhanced and sustained users' suspicion levels, improving their cognitive awareness of scams. ScriptMind represents a step toward human-centered, cognitively adaptive LLMs for scam defense.
• Abstract（参考訳）: 社会工学の詐欺師は、パーソナライズされた多ターン詐欺をますます採用し、従来の検出方法の限界を露呈している。 大規模言語モデル(LLM)は詐欺の特定を約束する一方で、認知支援の可能性はまだ探索されていない。 自動推論と人間の認識を橋渡しするLLMベースの詐欺検出のための統合フレームワークScriptMindを提案する。 詐欺推論のための犯罪スクリプト推論タスク(CSIT)、微調整された小さなLSMのための犯罪スクリプト認識推論データセット(CSID)、リアルタイム認知への影響を評価するための認知シミュレーションに基づく社会工学防衛の評価(CSED)の3つのコンポーネントから構成される。 韓国の電話詐欺事件571件を用いて,22,712件の構造化詐欺シーケンストレーニングインスタンスを構築した。 実験結果から, ScriptMindで微調整した11B小LLMではGPT-4oが13%向上し, 検出精度, 偽陽性低減, 散発発話予測, 合理性品質において商業モデルよりも優れた性能を示した。 さらに,電話詐欺シミュレーション実験では,ユーザの疑念レベルを著しく向上し,詐欺に対する認知意識を向上した。 ScriptMindは、スカム防御のための人間中心の認知適応型LDMに向けたステップである。

関連論文リスト

• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Send to which account? Evaluation of an LLM-based Scambaiting System [0.0]
  本稿では,大規模言語モデル(LLM)を用いたスカンバイティングシステムの大規模実世界評価について述べる。 5ヶ月にわたるデプロイメントで、システムは実際のスキャマーと2,600以上のエンゲージメントを開始し、18,700以上のメッセージのデータセットを作成した。 情報開示率(IDR)は約32%に達し、ラバ口座などの機密情報を抽出することに成功している。
  論文  参考訳（メタデータ） (2025-09-10T11:08:52Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• Can LLMs effectively provide game-theoretic-based scenarios for cybersecurity? [51.96049148869987]
  大規模言語モデル(LLM)は、コンピュータシステムのセキュリティに新しいツールと課題を提供する。 従来のゲーム理論フレームワークが,LLM駆動型アクターやボットの動作を効果的に捉えることができるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-08-04T08:57:14Z)
• Exposing LLM Vulnerabilities: Adversarial Scam Detection and Performance [16.9071617169937]
  本稿では, 大規模言語モデル (LLM) の脆弱性を, 詐欺検出のタスクに対して対向詐欺メッセージに直面する際の脆弱性について検討する。 我々は、オリジナルメッセージと逆詐欺メッセージの両方を含む、きめ細かいスカムメッセージのラベル付き包括的なデータセットを作成しました。 分析の結果, LLMの脆弱性を利用した逆例は, 高い誤分類率をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-12-01T00:13:28Z)
• Can LLMs be Scammed? A Baseline Measurement Study [0.0873811641236639]
  様々な詐欺戦術に対するLarge Language Models(LLMs)の脆弱性を体系的に評価する。 まず、FINRA分類で同定された多様な詐欺カテゴリーを反映した37の明確に定義されたベース詐欺シナリオを組み込んだ。 第2に、汎用プロプライエタリ(GPT-3.5, GPT-4)とオープンソース(Llama)モデルを用いて、スカム検出における性能を解析する。 第三に、我々の研究は、詐欺戦術がLSMに対して最も効果的であるか、そして様々なペルソナの特徴や説得技術がこれらの脆弱性にどのように影響するかについての批判的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-14T05:22:27Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Detecting Scams Using Large Language Models [19.7220607313348]
  大規模言語モデル(LLM)は、セキュリティなど、様々なアプリケーションで注目を集めている。 本稿では,サイバーセキュリティの重要な側面である詐欺検知におけるLCMの有用性について検討する。 フィッシング、前払い詐欺、ロマンス詐欺などの詐欺を識別するためのLLMの新しいユースケースを提案する。
  論文  参考訳（メタデータ） (2024-02-05T16:13:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。