論文の概要: SpaLLM-Guard: Pairing SMS Spam Detection Using Open-source and Commercial LLMs

• arxiv url: http://arxiv.org/abs/2501.04985v1
• Date: Thu, 09 Jan 2025 06:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:57:54.445854
• Title: SpaLLM-Guard: Pairing SMS Spam Detection Using Open-source and Commercial LLMs
• Title（参考訳）: SpaLLM-Guard:オープンソースおよび商用LLMを用いたSMSスパム検出
• Authors: Muhammad Salman, Muhammad Ikram, Nardine Basta, Mohamed Ali Kaafar,
• Abstract要約: 我々は,SMSスパム検出における大規模言語モデル (LLM) の可能性を評価する。 ゼロショット、少数ショット、微調整、チェーン・オブ・プルーピングのアプローチでパフォーマンスを比較します。 ファインチューニングは最も効果的な戦略として現れ、Mixtralの精度は98.6%、偽陽性と偽陰性率は2%以下である。
• 参考スコア（独自算出の注目度）: 1.3198171962008958
• License:
• Abstract: The increasing threat of SMS spam, driven by evolving adversarial techniques and concept drift, calls for more robust and adaptive detection methods. In this paper, we evaluate the potential of large language models (LLMs), both open-source and commercial, for SMS spam detection, comparing their performance across zero-shot, few-shot, fine-tuning, and chain-of-thought prompting approaches. Using a comprehensive dataset of SMS messages, we assess the spam detection capabilities of prominent LLMs such as GPT-4, DeepSeek, LLAMA-2, and Mixtral. Our findings reveal that while zero-shot learning provides convenience, it is unreliable for effective spam detection. Few-shot learning, particularly with carefully selected examples, improves detection but exhibits variability across models. Fine-tuning emerges as the most effective strategy, with Mixtral achieving 98.6% accuracy and a balanced false positive and false negative rate below 2%, meeting the criteria for robust spam detection. Furthermore, we explore the resilience of these models to adversarial attacks, finding that fine-tuning significantly enhances robustness against both perceptible and imperceptible manipulations. Lastly, we investigate the impact of concept drift and demonstrate that fine-tuned LLMs, especially when combined with few-shot learning, can mitigate its effects, maintaining high performance even on evolving spam datasets. This study highlights the importance of fine-tuning and tailored learning strategies to deploy LLMs effectively for real-world SMS spam detection
• Abstract（参考訳）: SMSスパムの脅威は、敵対的手法の進化とコンセプトドリフトによって増大し、より堅牢で適応的な検出方法が求められている。 本稿では,SMSスパム検出におけるオープンソースおよび商用両方の大規模言語モデル (LLM) の可能性について,ゼロショット,少数ショット,ファインチューニング,チェーン・オブ・ファインディングのアプローチによる性能の比較を行った。 SMSメッセージの包括的なデータセットを用いて,GPT-4,DeepSeek,LLAMA-2,Mixtralなどの著名なLLMのスパム検出機能を評価する。 その結果,ゼロショット学習は有用であるが,効果的なスパム検出には信頼性が低いことがわかった。 特に慎重に選択された例では、少ないショットラーニングは検出を改善するが、モデル間でのばらつきを示す。 ファインチューニングは最も効果的な戦略として現れ、Mixtralの精度は98.6%、偽陽性と偽陰性率は2%以下であり、堅牢なスパム検出の基準を満たしている。 さらに,これらのモデルの敵攻撃に対する弾力性について検討し,微調整が知覚的かつ知覚不能な操作に対するロバスト性を大幅に向上させることを示した。 最後に, コンセプトドリフトの影響について検討し, 微調整LDM, 特に数ショット学習と組み合わせることで, その効果を緩和し, スパムデータセットの進化においても高い性能を維持することを実証する。 本研究は,現実のSMSスパム検出において,LLMを効果的に展開するための微調整および調整型学習戦略の重要性を強調した。

関連論文リスト

• Intent Detection in the Age of LLMs [3.755082744150185]
  インテント検出はタスク指向対話システム(TODS)の重要な構成要素である 従来のアプローチは、計算効率の良い教師付き文変換器エンコーダモデルに依存していた。 固有の世界知識を持つ生成的大言語モデル(LLM)の出現は、これらの課題に対処する新たな機会を提供する。
  論文  参考訳（メタデータ） (2024-10-02T15:01:55Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• ExplainableDetector: Exploring Transformer-based Language Modeling Approach for SMS Spam Detection with Explainability Analysis [2.849988619791745]
  近年、SMSスパムの数は大幅に増加している。 SMSデータの非構造化フォーマットは、SMSスパム検出に重大な課題をもたらす。 我々は、スパムメッセージ検出の問題を解決するために、最適化および微調整された変換器ベース大規模言語モデル(LLM)を用いる。
  論文  参考訳（メタデータ） (2024-05-12T11:42:05Z)
• SpamDam: Towards Privacy-Preserving and Adversary-Resistant SMS Spam Detection [2.0355793807035094]
  SpamDamはSMSスパムの検出と理解において重要な課題を克服するために設計されたSMSスパム検出フレームワークである。 われわれは2018年から2023年にかけて、TwitterとWeiboから76万件以上のSMSスパムメッセージを収集した。 我々は、SMSスパム検出モデルの対角的堅牢性を厳格に検証し、新しいリバースバックドア攻撃を導入した。
  論文  参考訳（メタデータ） (2024-04-15T06:07:10Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• Signed Latent Factors for Spamming Activity Detection [1.8275108630751844]
  署名された潜伏要因を利用して不正行為をフィルタリングする新しい試みを提案する。 複数のオンラインアプリケーションのスパム汚染されたリレーショナルデータセットは、統一された署名ネットワークによって解釈される。 様々な種類のWebアプリケーションの実世界のデータセットに対する実験は、LFMモデルがスパム行為の検出において最先端のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2022-09-28T03:39:34Z)
• Deep convolutional forest: a dynamic deep ensemble approach for spam detection in text [219.15486286590016]
  本稿では,スパム検出のための動的深層アンサンブルモデルを提案する。 その結果、このモデルは高い精度、リコール、f1スコア、98.38%の精度を達成した。
  論文  参考訳（メタデータ） (2021-10-10T17:19:37Z)
• Robust Spammer Detection by Nash Reinforcement Learning [64.80986064630025]
  我々は,スパマーとスパム検知器が互いに現実的な目標を競うミニマックスゲームを開発する。 提案アルゴリズムは,スパマーが混在するスパマーが実用目標を達成するのを確実に防止できる平衡検出器を確実に見つけることができることを示す。
  論文  参考訳（メタデータ） (2020-06-10T21:18:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。