論文の概要: Measuring and Evaluating the Performance of Generative AI Models for Scam Detection

• arxiv url: http://arxiv.org/abs/2607.17353v1
• Date: Sun, 19 Jul 2026 17:28:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.435845
• Title: Measuring and Evaluating the Performance of Generative AI Models for Scam Detection
• Title（参考訳）: 詐欺検出のための生成AIモデルの性能測定と評価
• Abstract要約: 大規模言語モデル(LLM)は、電子メールゲートウェイ、ブラウザ拡張機能、不正監視ダッシュボードなど、セキュリティ製品に統合されている。 我々は,LLMが意図,文脈,推論の理解に強い能力を持つことにより,タスク固有の微調整を伴わずに,多様なシナリオにわたる詐欺を効果的に検出できるかどうかを検討する。 複数のフォーマットやトピックにまたがる現実世界の詐欺のユニークなベンチマークデータセットをキュレートしてリリースします。
• 参考スコア（独自算出の注目度）: 7.5830465198346495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online scams continue to cause substantial financial and personal harm. As a result, detection systems based on Large Language Models (LLMs) have been integrated into security products ranging from email gateways and browser extensions to fraud-monitoring dashboards. As this adoption accelerates, a common belief has taken hold: that these models are broadly suitable for scam detection. In this work, we investigate whether LLMs, with their strong capabilities in understanding intent, context, and reasoning, can effectively detect scams across diverse scenarios without task-specific fine-tuning. We curate and release a unique benchmark dataset of real-world scams spanning multiple formats and topics. We evaluate nine LLMs of varying sizes and architectures, examining their performance under different prompting strategies and comparing them to a fine-tuned BERT-based classifier. Our results show that while larger LLMs generally outperform smaller ones, effective prompting substantially boosts the performance of smaller models. Moreover, LLMs are better at generalizing to unseen scams compared to fine-tuned models, suggesting that pre-trained knowledge contributes meaningfully to scam detection. We release our dataset and evaluation framework to facilitate future research in robust scam detection using language models.
• Abstract（参考訳）: オンライン詐欺は、財政的、個人的被害を相変わらず引き起こしている。 その結果,Large Language Models (LLMs) に基づく検出システムは,電子メールゲートウェイやブラウザエクステンションから不正監視ダッシュボードに至るまで,セキュリティ製品に統合されている。 この採用が加速するにつれて、これらのモデルが詐欺検出に広く適しているという共通の信念が定着した。 本研究では,LLMが意図,文脈,推論の強い能力を持つことにより,タスク固有の微調整を伴わずに,多様なシナリオにわたる詐欺を効果的に検出できるかどうかを考察する。 複数のフォーマットやトピックにまたがる現実世界の詐欺のユニークなベンチマークデータセットをキュレートしてリリースします。 様々なサイズとアーキテクチャのLLMを9つ評価し、異なるプロンプト戦略の下で性能を検証し、細調整されたBERT分類器と比較した。 以上の結果から,LLMはより小型のモデルよりも優れているが,実効性はより小型のモデルの性能を大幅に向上させることがわかった。 さらに、LLMは細調整されたモデルと比較して、見えない詐欺を一般化するのが得意であり、事前学習された知識が詐欺検出に有意義に寄与することを示唆している。 我々は,言語モデルを用いたロバスト詐欺検出の今後の研究を支援するために,データセットと評価フレームワークをリリースする。

関連論文リスト

• Reinforcement Learning of Large Language Models for Interpretable Credit Card Fraud Detection [29.14690532256978]
  本稿では,強化学習(Reinforcement Learning, RL)を用いて,不正検出タスクのための軽量言語モデルの訓練後処理を行う手法を提案する。 我々は,グループシーケンスポリシー最適化(GSPO)アルゴリズムとルールベースの報酬システムを組み合わせて,実生活におけるトランザクションデータセットに基づいて,さまざまなサイズの言語モデルを微調整する。 実験により,本手法の有効性を実証し,学習後の言語モデルを用いて,保持試験データに対するF1スコアの大幅な改善を実現した。
  論文  参考訳（メタデータ） (2026-01-09T06:56:27Z)
• Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
  本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。 異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。 我々は最先端のPTQ手法を実装し、包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-08-20T17:59:51Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
  大規模言語モデル(LLM)は、より有能で広く普及している。 テスト時間計算の標準化, 測定, スケーリングの最近の進歩は, ハードタスクにおける高い性能を達成するためにモデルを最適化するための新しい手法を提案する。 本稿では、これらの進歩をジェイルブレイクモデルに応用し、協調LDMから有害な応答を誘発する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:01Z)
• Exposing LLM Vulnerabilities: Adversarial Scam Detection and Performance [16.9071617169937]
  本稿では, 大規模言語モデル (LLM) の脆弱性を, 詐欺検出のタスクに対して対向詐欺メッセージに直面する際の脆弱性について検討する。 我々は、オリジナルメッセージと逆詐欺メッセージの両方を含む、きめ細かいスカムメッセージのラベル付き包括的なデータセットを作成しました。 分析の結果, LLMの脆弱性を利用した逆例は, 高い誤分類率をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-12-01T00:13:28Z)
• Can LLMs be Scammed? A Baseline Measurement Study [0.0873811641236639]
  様々な詐欺戦術に対するLarge Language Models(LLMs)の脆弱性を体系的に評価する。 まず、FINRA分類で同定された多様な詐欺カテゴリーを反映した37の明確に定義されたベース詐欺シナリオを組み込んだ。 第2に、汎用プロプライエタリ(GPT-3.5, GPT-4)とオープンソース(Llama)モデルを用いて、スカム検出における性能を解析する。 第三に、我々の研究は、詐欺戦術がLSMに対して最も効果的であるか、そして様々なペルソナの特徴や説得技術がこれらの脆弱性にどのように影響するかについての批判的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-14T05:22:27Z)
• Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
  MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。 本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-06T11:32:41Z)
• Detecting Scams Using Large Language Models [19.7220607313348]
  大規模言語モデル(LLM)は、セキュリティなど、様々なアプリケーションで注目を集めている。 本稿では,サイバーセキュリティの重要な側面である詐欺検知におけるLCMの有用性について検討する。 フィッシング、前払い詐欺、ロマンス詐欺などの詐欺を識別するためのLLMの新しいユースケースを提案する。
  論文  参考訳（メタデータ） (2024-02-05T16:13:54Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。