Fugu-MT 論文翻訳(概要): Universal Spam Detection using Transfer Learning of BERT Model

論文の概要: Universal Spam Detection using Transfer Learning of BERT Model

arxiv url: http://arxiv.org/abs/2202.03480v1
Date: Mon, 7 Feb 2022 19:37:39 GMT
ステータス: 処理完了
システム内更新日: 2022-02-09 13:47:50.446409
Title: Universal Spam Detection using Transfer Learning of BERT Model
Title（参考訳）: BERTモデルの伝達学習を用いたユニバーサルスパム検出
Authors: Vijay Srinivas Tida, Sonya Hsu
Abstract要約: この原稿は、事前訓練されたGoogleの変換器による双方向表現(BERT)を用いた新しいユニバーサルスパム検出モデルを実証した。 Enron、Spamassain、Lingspam、およびSpamtextメッセージ分類データセットの異なる方法でモデルを個別にトレーニングした。総合的な精度は97%に達し、F1スコアは0.96である。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Deep learning transformer models become important by training on text data based on self-attention mechanisms. This manuscript demonstrated a novel universal spam detection model using pre-trained Google's Bidirectional Encoder Representations from Transformers (BERT) base uncased models with four datasets by efficiently classifying ham or spam emails in real-time scenarios. Different methods for Enron, Spamassain, Lingspam, and Spamtext message classification datasets, were used to train models individually in which a single model was obtained with acceptable performance on four datasets. The Universal Spam Detection Model (USDM) was trained with four datasets and leveraged hyperparameters from each model. The combined model was finetuned with the same hyperparameters from these four models separately. When each model using its corresponding dataset, an F1-score is at and above 0.9 in individual models. An overall accuracy reached 97%, with an F1 score of 0.96. Research results and implications were discussed.
Abstract（参考訳）: ディープラーニングトランスフォーマーモデルは,セルフアテンション機構に基づいたテキストデータによるトレーニングによって重要になる。この原稿は、トレーニング済みのGoogle’s Bidirectional Encoder Representations from Transformers (BERT)ベース非ケースモデルの4つのデータセットを使用して、ハムやスパムメールをリアルタイムで効率的に分類することで、新しい普遍的なスパム検出モデルを実証した。 Enron, Spamassain, Lingspam, Spamtextメッセージ分類データセットの異なる手法を用いて, 4つのデータセットで許容可能な性能で1つのモデルが得られるモデルを個別に訓練した。ユニバーサルスパム検出モデル(USDM)は4つのデータセットでトレーニングされ、各モデルからハイパーパラメータを利用した。組み合わせたモデルは、4つのモデルからそれぞれ同じハイパーパラメータで微調整された。各モデルが対応するデータセットを使用する場合、f1-scoreは個々のモデルで0.9以上である。全体の精度は97%で、f1スコアは0.96である。研究成果と意義について考察した。

関連論文リスト

Machine Unlearning using a Multi-GAN based Model [0.0]
本稿では,GAN(Generative Adversarial Network)をベースとした新しい機械学習手法を提案する。提案手法は,GANモデルを用いたデータ再構成と,学習済みモデルを微調整する2つのフェーズから構成される。
論文参考訳（メタデータ） (2024-07-26T02:28:32Z)
Addressing Bias Through Ensemble Learning and Regularized Fine-Tuning [0.2812395851874055]
本稿では,AIモデルのバイアスを取り除くために,複数の手法を用いた包括的アプローチを提案する。我々は、データ分割、局所訓練、正規化ファインチューニングを通じて、事前訓練されたモデルのカウンターバイアスで複数のモデルを訓練する。我々は、単一のバイアスのないニューラルネットワークをもたらす知識蒸留を用いて、ソリューションを結論付けている。
論文参考訳（メタデータ） (2024-02-01T09:24:36Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
FedDRL: A Trustworthy Federated Learning Model Fusion Method Based on Staged Reinforcement Learning [7.846139591790014]
2段階のアプローチに基づく強化学習を用いたモデル融合手法であるFedDRLを提案する。最初の段階では、我々の手法は悪意あるモデルをフィルタリングし、信頼されたクライアントモデルを選択してモデル融合に参加する。第2段階では、FedDRLアルゴリズムは信頼されたクライアントモデルの重みを適応的に調整し、最適なグローバルモデルを集約する。
論文参考訳（メタデータ） (2023-07-25T17:24:32Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Heterogenous Ensemble of Models for Molecular Property Prediction [55.91865861896012]
分子の異なるモーダル性を考える手法を提案する。これらのモデルをHuberRegressorでアンサンブルします。これにより、OGB Large-Scale Challenge (2022)の2textsuperscriptndエディションの勝利のソリューションが得られる。
論文参考訳（メタデータ） (2022-11-20T17:25:26Z)
Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文参考訳（メタデータ） (2022-10-05T09:17:27Z)
It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing [1.581913948762905]
トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
論文参考訳（メタデータ） (2020-10-13T22:52:13Z)
Data from Model: Extracting Data from Non-robust and Robust Models [83.60161052867534]
この研究は、データとモデルの関係を明らかにするために、モデルからデータを生成する逆プロセスについて検討する。本稿では,データ・トゥ・モデル(DtM)とデータ・トゥ・モデル(DfM)を連続的に処理し,特徴マッピング情報の喪失について検討する。以上の結果から,DtMとDfMの複数シーケンスの後にも,特にロバストモデルにおいて精度低下が制限されることが示唆された。
論文参考訳（メタデータ） (2020-07-13T05:27:48Z)
Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。