論文の概要: Evaluating the Performance of ChatGPT for Spam Email Detection

• arxiv url: http://arxiv.org/abs/2402.15537v2
• Date: Wed, 19 Jun 2024 14:49:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 05:09:24.223774
• Title: Evaluating the Performance of ChatGPT for Spam Email Detection
• Title（参考訳）: スパムメール検出におけるChatGPTの性能評価
• Authors: Shijing Si, Yuwei Wu, Le Tang, Yugui Zhang, Jedrek Wosik,
• Abstract要約: 本研究は,ChatGPTの英語および中国語のメールデータセットにおけるスパム識別能力を評価することを目的とする。 In-context Learning を用いたスパムメール検出にはChatGPT を用いる。 また,実演回数がChatGPTの性能に与える影響についても検討した。
• 参考スコア（独自算出の注目度）: 9.585304538597414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Email continues to be a pivotal and extensively utilized communication medium within professional and commercial domains. Nonetheless, the prevalence of spam emails poses a significant challenge for users, disrupting their daily routines and diminishing productivity. Consequently, accurately identifying and filtering spam based on content has become crucial for cybersecurity. Recent advancements in natural language processing, particularly with large language models like ChatGPT, have shown remarkable performance in tasks such as question answering and text generation. However, its potential in spam identification remains underexplored. To fill in the gap, this study attempts to evaluate ChatGPT's capabilities for spam identification in both English and Chinese email datasets. We employ ChatGPT for spam email detection using in-context learning, which requires a prompt instruction and a few demonstrations. We also investigate how the number of demonstrations in the prompt affects the performance of ChatGPT. For comparison, we also implement five popular benchmark methods, including naive Bayes, support vector machines (SVM), logistic regression (LR), feedforward dense neural networks (DNN), and BERT classifiers. Through extensive experiments, the performance of ChatGPT is significantly worse than deep supervised learning methods in the large English dataset, while it presents superior performance on the low-resourced Chinese dataset.
• Abstract（参考訳）: 電子メールは、プロフェッショナルドメインや商用ドメインにおいて、重要かつ広範囲に利用される通信媒体であり続けている。 それでもスパムメールの普及は、日々のルーチンを混乱させ、生産性を低下させ、ユーザーにとって大きな課題となる。 その結果、コンテンツに基づくスパムの正確な識別とフィルタリングがサイバーセキュリティにとって重要になっている。 自然言語処理の最近の進歩、特にChatGPTのような大規模言語モデルでは、質問応答やテキスト生成といったタスクにおいて顕著な性能を示している。 しかし、スパム識別のポテンシャルは未解明のままである。 このギャップを埋めるために、英語と中国語の両方の電子メールデータセットにおいてChatGPTのスパム識別能力を評価する。 In-context Learning を用いたスパムメール検出にはChatGPT を用いる。 また,実演回数がChatGPTの性能に与える影響についても検討した。 比較のために、ベイズ、サポートベクターマシン(SVM)、ロジスティック回帰(LR)、フィードフォワード高密度ニューラルネットワーク(DNN)、BERT分類器を含む5つの人気のあるベンチマーク手法を実装した。 大規模な実験を通じて、ChatGPTの性能は、大規模な英語データセットにおける深い教師付き学習方法よりも著しく悪いが、低リソースの中国語データセットでは優れた性能を示す。

関連論文リスト

• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Chatbots Are Not Reliable Text Annotators [0.0]
  ChatGPTはクローズドソース製品で、透明性、コスト、データ保護に関して大きな欠点があります。 オープンソースの(OS)大規模言語モデル(LLM)の最近の進歩は、これらの課題を解決する代替手段を提供する。
  論文  参考訳（メタデータ） (2023-11-09T22:28:14Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks [0.0]
  また、ChatGPTは、いくつかのアノテーションタスクにおいて、クラウドワーカーよりも優れていることを示す。 ChatGPTのアノテーションあたりのコストは0.003ドル未満で、MTurkの約20倍安い。
  論文  参考訳（メタデータ） (2023-03-27T09:59:48Z)
• Towards Making the Most of ChatGPT for Machine Translation [75.576405098545]
  ChatGPTは機械翻訳(MT)の優れた機能を示す いくつかの先行研究により、ハイソース言語の商用システムと同等の結果が得られることが示されている。
  論文  参考訳（メタデータ） (2023-03-24T03:35:21Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。