論文の概要: Evaluating the Performance of ChatGPT for Spam Email Detection

• arxiv url: http://arxiv.org/abs/2402.15537v1
• Date: Fri, 23 Feb 2024 04:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 18:09:53.535809
• Title: Evaluating the Performance of ChatGPT for Spam Email Detection
• Title（参考訳）: スパムメール検出におけるChatGPTの性能評価
• Authors: Yuwei Wu, Shijing Si, Yugui Zhang, Jiawen Gu, Jedrek Wosik
• Abstract要約: 本研究は,ChatGPTの英語および中国語のメールデータセットにおけるスパム識別能力を評価することを目的とする。 In-context Learning を用いたスパムメール検出にはChatGPT を用いる。 また、トレーニングサンプルサイズがChatGPTの性能に与える影響についても検討する。
• 参考スコア（独自算出の注目度）: 11.187688378152991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Email continues to be a pivotal and extensively utilized communication medium within professional and commercial domains. Nonetheless, the prevalence of spam emails poses a significant challenge for users, disrupting their daily routines and diminishing productivity. Consequently, accurately identifying and filtering spam based on content has become crucial for cybersecurity. Recent advancements in natural language processing, particularly with large language models like ChatGPT, have shown remarkable performance in tasks such as question answering and text generation. However, its potential in spam identification remains underexplored. To fill in the gap, this study attempts to evaluate ChatGPT's capabilities for spam identification in both English and Chinese email datasets. We employ ChatGPT for spam email detection using in-context learning, which requires a prompt instruction and a few demonstrations. We also investigate how the training example size affects the performance of ChatGPT. For comparison, we also implement five popular benchmark methods, including naive Bayes, support vector machines (SVM), logistic regression (LR), feedforward dense neural networks (DNN), and BERT classifiers. Though extensive experiments, the performance of ChatGPT is significantly worse than deep supervised learning methods in the large English dataset, while it presents superior performance on the low-resourced Chinese dataset, even outperforming BERT in this case.
• Abstract（参考訳）: eメールは、プロフェッショナルドメインと商用ドメインにおける重要な、広く利用されるコミュニケーション媒体であり続けている。 それでもスパムメールの普及はユーザーにとって大きな課題となり、日々のルーチンを中断し、生産性を低下させる。 したがって、コンテンツに基づくスパムの正確な識別とフィルタリングはサイバーセキュリティにとって不可欠である。 自然言語処理の最近の進歩、特にChatGPTのような大規模言語モデルでは、質問応答やテキスト生成といったタスクにおいて顕著な性能を示している。 しかし、スパム識別のポテンシャルは未解明のままである。 このギャップを埋めるために、英語と中国語の両方の電子メールデータセットにおいてChatGPTのスパム識別能力を評価する。 コンテキスト内学習によるスパムメールの検出にはchatgptを採用している。 また、トレーニングサンプルサイズがChatGPTの性能に与える影響についても検討する。 比較のために、naive bayes、 support vector machines (svm)、logistic regression (lr)、feedforward dense neural networks (dnn)、bert classifiersの5つの人気のあるベンチマーク手法を実装した。 広範な実験ではあるが、chatgptのパフォーマンスは、大規模な英語データセットにおける深い教師付き学習方法よりも著しく悪いが、低リソースの中国データセットでは優れたパフォーマンスを示し、このケースではbertを上回っている。

関連論文リスト

• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Chatbots Are Not Reliable Text Annotators [0.0]
  ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。 オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
  論文  参考訳（メタデータ） (2023-11-09T22:28:14Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks [0.0]
  また、ChatGPTは、いくつかのアノテーションタスクにおいて、クラウドワーカーよりも優れていることを示す。 ChatGPTのアノテーションあたりのコストは0.003ドル未満で、MTurkの約20倍安い。
  論文  参考訳（メタデータ） (2023-03-27T09:59:48Z)
• Towards Making the Most of ChatGPT for Machine Translation [75.576405098545]
  ChatGPTは機械翻訳(MT)の優れた機能を示す いくつかの先行研究により、ハイソース言語の商用システムと同等の結果が得られることが示されている。
  論文  参考訳（メタデータ） (2023-03-24T03:35:21Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。