論文の概要: Evaluating the Performance of ChatGPT for Spam Email Detection

• arxiv url: http://arxiv.org/abs/2402.15537v3
• Date: Wed, 12 Feb 2025 17:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:33.288914
• Title: Evaluating the Performance of ChatGPT for Spam Email Detection
• Title（参考訳）: スパムメール検出におけるChatGPTの性能評価
• Authors: Shijing Si, Yuwei Wu, Le Tang, Yugui Zhang, Jedrek Wosik, Qinliang Su,
• Abstract要約: 本研究は,ChatGPTの英語および中国語のメールデータセットにおけるスパム識別能力を評価することを目的とする。 In-context Learning を用いたスパムメール検出にはChatGPT を用いる。 また,実演回数がChatGPTの性能に与える影響についても検討した。
• 参考スコア（独自算出の注目度）: 15.690834818368929
• License:
• Abstract: Email continues to be a pivotal and extensively utilized communication medium within professional and commercial domains. Nonetheless, the prevalence of spam emails poses a significant challenge for users, disrupting their daily routines and diminishing productivity. Consequently, accurately identifying and filtering spam based on content has become crucial for cybersecurity. Recent advancements in natural language processing, particularly with large language models like ChatGPT, have shown remarkable performance in tasks such as question answering and text generation. However, its potential in spam identification remains underexplored. To fill in the gap, this study attempts to evaluate ChatGPT's capabilities for spam identification in both English and Chinese email datasets. We employ ChatGPT for spam email detection using in-context learning, which requires a prompt instruction with (or without) a few demonstrations. We also investigate how the number of demonstrations in the prompt affects the performance of ChatGPT. For comparison, we also implement five popular benchmark methods, including naive Bayes, support vector machines (SVM), logistic regression (LR), feedforward dense neural networks (DNN), and BERT classifiers. Through extensive experiments, the performance of ChatGPT is significantly worse than deep supervised learning methods in the large English dataset, while it presents superior performance on the low-resourced Chinese dataset. This study provides insights into the potential and limitations of ChatGPT for spam identification, highlighting its potential as a viable solution for resource-constrained language domains.
• Abstract（参考訳）: 電子メールは、プロフェッショナルドメインや商用ドメインにおいて、重要かつ広範囲に利用される通信媒体であり続けている。 それでもスパムメールの普及は、日々のルーチンを混乱させ、生産性を低下させ、ユーザーにとって大きな課題となる。 その結果、コンテンツに基づくスパムの正確な識別とフィルタリングがサイバーセキュリティにとって重要になっている。 自然言語処理の最近の進歩、特にChatGPTのような大規模言語モデルでは、質問応答やテキスト生成といったタスクにおいて顕著な性能を示している。 しかし、スパム識別のポテンシャルは未解明のままである。 このギャップを埋めるために、英語と中国語の両方の電子メールデータセットにおいてChatGPTのスパム識別能力を評価する。 In-context Learning を用いたスパムメール検出にはChatGPT を用いる。 また,実演回数がChatGPTの性能に与える影響についても検討した。 比較のために、ベイズ、サポートベクターマシン(SVM)、ロジスティック回帰(LR)、フィードフォワード高密度ニューラルネットワーク(DNN)、BERT分類器を含む5つの人気のあるベンチマーク手法を実装した。 大規模な実験を通じて、ChatGPTの性能は、大規模な英語データセットにおける深い教師付き学習方法よりも著しく悪いが、低リソースの中国語データセットでは優れた性能を示す。 本研究は, スパム識別におけるChatGPTの可能性と限界を考察し, 資源制約言語ドメインの有効なソリューションとしての可能性を強調した。

関連論文リスト

• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Chatbots Are Not Reliable Text Annotators [0.0]
  ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。 オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
  論文  参考訳（メタデータ） (2023-11-09T22:28:14Z)
• ChatGPT is a Remarkable Tool -- For Experts [9.46644539427004]
  生産性の向上,問題解決プロセスの合理化,書き込みスタイルの改善など,ChatGPTの可能性を探究する。 これらの分野では、ChatGPTへの過度な依存に関連する潜在的なリスクを強調します。 われわれはChatGPTが有益であることを証明した分野と目的、ChatGPTを法的に使用するべきアプリケーション、信頼性が制限されるシナリオについて概説する。
  論文  参考訳（メタデータ） (2023-06-02T06:28:21Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about [15.19126287569545]
  本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。 この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。 調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
  論文  参考訳（メタデータ） (2023-04-06T18:42:47Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Towards Making the Most of ChatGPT for Machine Translation [75.576405098545]
  ChatGPTは機械翻訳(MT)の優れた機能を示す いくつかの先行研究により、ハイソース言語の商用システムと同等の結果が得られることが示されている。
  論文  参考訳（メタデータ） (2023-03-24T03:35:21Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。