論文の概要: Spam-T5: Benchmarking Large Language Models for Few-Shot Email Spam Detection

• arxiv url: http://arxiv.org/abs/2304.01238v1
• Date: Mon, 3 Apr 2023 10:27:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 17:04:43.503986
• Title: Spam-T5: Benchmarking Large Language Models for Few-Shot Email Spam Detection
• Title（参考訳）: Spam-T5: メールスパム検出のための大規模言語モデルのベンチマーク
• Authors: Maxime Labonne and Sean Moran
• Abstract要約: 本稿では,メールスパム検出における大規模言語モデル(LLM)の有効性について検討する。 BERT-like、Sentence Transformers、Seq2Seqの3つの異なるモデルを比較した。 4つの公開データセットでこれらのモデルの性能を評価する。
• 参考スコア（独自算出の注目度）: 3.3504365823045044
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper investigates the effectiveness of large language models (LLMs) in email spam detection by comparing prominent models from three distinct families: BERT-like, Sentence Transformers, and Seq2Seq. Additionally, we examine well-established machine learning techniques for spam detection, such as Na\"ive Bayes and LightGBM, as baseline methods. We assess the performance of these models across four public datasets, utilizing different numbers of training samples (full training set and few-shot settings). Our findings reveal that, in the majority of cases, LLMs surpass the performance of the popular baseline techniques, particularly in few-shot scenarios. This adaptability renders LLMs uniquely suited to spam detection tasks, where labeled samples are limited in number and models require frequent updates. Additionally, we introduce Spam-T5, a Flan-T5 model that has been specifically adapted and fine-tuned for the purpose of detecting email spam. Our results demonstrate that Spam-T5 surpasses baseline models and other LLMs in the majority of scenarios, particularly when there are a limited number of training samples available. Our code is publicly available at https://github.com/jpmorganchase/emailspamdetection.
• Abstract（参考訳）: 本稿では,メールスパム検出における大規模言語モデル (LLM) の有効性について,BERT-like, Sentence Transformers, Seq2Seq の3家系の著名なモデルを比較検討した。 さらに,Na\"ive Bayes や LightGBM などのスパム検出のための機械学習手法をベースライン手法として検討した。 4つの公開データセットにまたがってこれらのモデルの性能を評価し、異なる数のトレーニングサンプル(フルトレーニングセットと数ショット設定)を利用する。 その結果,ほとんどのケースでllmが一般的なベースライン技術,特に少数のシナリオのパフォーマンスを上回っていることが明らかとなった。 この適応性は、ラベル付きサンプルの数に制限があり、モデルは頻繁な更新を必要とするスパム検出タスクに特有のLLMをレンダリングする。 さらに,eメールのスパム検出に特化・微調整されたflan-t5モデルについても紹介する。 以上の結果から,Spam-T5 がベースラインモデルや他の LLM をはるかに上回っていることが明らかとなった。 私たちのコードはhttps://github.com/jpmorganchase/emailspamdetectionで公開されています。

関連論文リスト

• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  生成したサンプルの数を増やすことで、別の軸として推論計算を探索する。 すべての回答を自動的に検証できるコーディングや形式証明のようなドメインでは、カバレッジの増加は直接的にパフォーマンスの向上に変換される。 多くの世代から正しいサンプルを同定することは、自動検証のない領域における将来の研究にとって重要な方向である。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Spectra: Surprising Effectiveness of Pretraining Ternary Language Models at Scale [16.865532646589987]
  本稿では,従来の浮動小数点モデル(FloatLM)とその後量子化バージョン(QuantLM)の代替として,低ビット幅モデル,特に第三言語モデル(TriLM)の事前学習について検討する。 我々は、FloatLMs、QuantLMs、TriLMsを含む複数のビット幅にまたがる最初のオープンなLLMスイートであるSpectra LLMスイートを、300Bトークンでトレーニングされた99Mから3.9Bのパラメータで紹介する。
  論文  参考訳（メタデータ） (2024-07-17T05:53:20Z)
• Zero-Shot Spam Email Classification Using Pre-trained Large Language Models [0.0]
  本稿では,ゼロショットプロンプトを用いたスパムメール分類における事前学習型大規模言語モデル(LLM)の適用について検討する。 オープンソース (Flan-T5) とプロプライエタリ LLM (ChatGPT, GPT-4) の両方の性能をよく知られた SpamAssassin データセット上で評価した。
  論文  参考訳（メタデータ） (2024-05-24T20:55:49Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• Self-supervised learning of multi-omics embeddings in the low-label, high-data regime [0.0]
  対照的に、自己教師型学習(SSL)は、ユニモーダル、mRNA、RPPAの発現データからがんのタイプを予測するモデルを訓練するために用いられる。 遅延融合モデルでは、各オミクスがそれぞれのサブネットワークに渡され、その出力が平均化され、事前学習または下流の目的関数に渡される。 マルチモーダルプレトレーニングは単一オミクスからの予測を改善することが示されており、多くの非ラベル付きマルチモーダルサンプルを持つデータセットでは有用であるが、ラベル付きサンプルはほとんどない。
  論文  参考訳（メタデータ） (2023-11-16T15:32:22Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Few-shot learning approaches for classifying low resource domain specific software requirements [1.1470070927586016]
  少ないショットラーニング(Few-shot learning)は、いくつかの注釈付きサンプルを使用するディープラーニングの一種である。 我々の実験は、BOSCH自動車ドメインテキストソフトウェア要件を3つのカテゴリに分類することに焦点を当てた。 SciBERTとDeBERTaベースのモデルは15のトレーニングサンプルが最も正確である傾向にあるが、注記サンプルの数がシームズやT5ベースのモデルと比較して50に増加するにつれて、その性能向上は最小限に抑えられる。
  論文  参考訳（メタデータ） (2023-02-14T10:19:23Z)
• Frustratingly Simple Pretraining Alternatives to Masked Language Modeling [10.732163031244651]
  Masked Language Modeling (MLM) は自然言語処理においてテキスト表現の学習に広く用いられている。 本稿では,トークンレベルの分類タスクを表現の代替として用いた5つの簡単な事前学習目標について検討する。
  論文  参考訳（メタデータ） (2021-09-04T08:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。