論文の概要: A pipeline and comparative study of 12 machine learning models for text classification

• arxiv url: http://arxiv.org/abs/2204.06518v1
• Date: Mon, 4 Apr 2022 23:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-17 06:42:04.317947
• Title: A pipeline and comparative study of 12 machine learning models for text classification
• Title（参考訳）: テキスト分類のための12の機械学習モデルのパイプラインと比較研究
• Authors: Annalisa Occhipinti, Louis Rogers, Claudio Angione
• Abstract要約: テキストベースのコミュニケーションは、特にビジネス環境では、コミュニケーション方法として非常に好まれる。 テキスト分類のための多くの機械学習手法が提案され、ほとんどのメールプロバイダのサービスに組み込まれている。 しかし、テキスト分類アルゴリズムを最適化し、攻撃性に関する適切なトレードオフを見つけることは、依然として大きな研究課題である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Text-based communication is highly favoured as a communication method, especially in business environments. As a result, it is often abused by sending malicious messages, e.g., spam emails, to deceive users into relaying personal information, including online accounts credentials or banking details. For this reason, many machine learning methods for text classification have been proposed and incorporated into the services of most email providers. However, optimising text classification algorithms and finding the right tradeoff on their aggressiveness is still a major research problem. We present an updated survey of 12 machine learning text classifiers applied to a public spam corpus. A new pipeline is proposed to optimise hyperparameter selection and improve the models' performance by applying specific methods (based on natural language processing) in the preprocessing stage. Our study aims to provide a new methodology to investigate and optimise the effect of different feature sizes and hyperparameters in machine learning classifiers that are widely used in text classification problems. The classifiers are tested and evaluated on different metrics including F-score (accuracy), precision, recall, and run time. By analysing all these aspects, we show how the proposed pipeline can be used to achieve a good accuracy towards spam filtering on the Enron dataset, a widely used public email corpus. Statistical tests and explainability techniques are applied to provide a robust analysis of the proposed pipeline and interpret the classification outcomes of the 12 machine learning models, also identifying words that drive the classification results. Our analysis shows that it is possible to identify an effective machine learning model to classify the Enron dataset with an F-score of 94%.
• Abstract（参考訳）: テキストベースのコミュニケーションは、特にビジネス環境では、コミュニケーション方法として非常に好まれる。 その結果、ユーザーを騙してオンラインアカウントの認証情報や銀行情報を含む個人情報を中継させるスパムメールなどの悪意あるメッセージを送ることで悪用されることが多い。 このため、テキスト分類のための多くの機械学習手法が提案され、ほとんどのメールプロバイダのサービスに組み込まれている。 しかし、テキスト分類アルゴリズムを最適化し、攻撃性に関する適切なトレードオフを見つけることは、依然として大きな研究課題である。 本稿では,公開スパムコーパスに適用した12の機械学習テキスト分類器に関する最新の調査を行った。 ハイパーパラメータの選択を最適化し、プリプロセッシング段階で特定の方法(自然言語処理に基づく)を適用することで、モデルの性能を向上させる新しいパイプラインが提案されている。 本研究の目的は,テキスト分類問題に広く用いられている機械学習分類器において,特徴量やハイパーパラメータの影響を調査・最適化するための新しい手法を提供することである。 分類器は、Fスコア(精度)、精度、リコール、実行時間など、さまざまなメトリクスでテストされ評価される。 これらすべての側面を分析して,広く使用されている公開メールコーパスであるEnronデータセットのスパムフィルタリングに対して,提案したパイプラインが適切な精度を実現する方法を示す。 提案するパイプラインのロバストな分析と12の機械学習モデルの分類結果の解釈、さらに分類結果を推進する単語の識別のために、統計的テストと説明可能性技術が適用されている。 分析の結果、enronデータセットを94%のf-scoreで分類する効果的な機械学習モデルを特定することが可能であることが判明した。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Prompt-based Personality Profiling: Reinforcement Learning for Relevance Filtering [8.20929362102942]
  著者プロファイルは、共有するコンテンツを分析して個人の特徴を推測するタスクである。 本稿では,関係のないコンテンツと関係のないコンテンツとを区別することを目的とした著者プロファイリング手法を提案し,それに続いて,関連データのみを用いて実際のユーザプロファイリングを行う。 2つのTwitterコーパスにおける5つの人格特性予測手法の評価を行った。
  論文  参考訳（メタデータ） (2024-09-06T08:43:10Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• Like a Good Nearest Neighbor: Practical Content Moderation and Text Classification [66.02091763340094]
  LaGoNN(Good Nearest Neighbor)は、学習可能なパラメータを導入することなく、隣人の情報で入力テキストを変更するSetFitの変更である。 LaGoNNは望ましくないコンテンツやテキスト分類のフラグ付けに有効であり、SetFitのパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-02-17T15:43:29Z)
• Selective Annotation Makes Language Models Better Few-Shot Learners [97.07544941620367]
  大規模な言語モデルはコンテキスト内学習を実行でき、いくつかのタスクデモから新しいタスクを学ぶことができる。 本研究は、新しい自然言語タスクのためのデータセット作成において、文脈内学習がもたらす意味について考察する。 本稿では,無教師付きグラフベースの選択的アノテーションであるvoke-kを提案する。
  論文  参考訳（メタデータ） (2022-09-05T14:01:15Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Dominant Set-based Active Learning for Text Classification and its Application to Online Social Media [0.0]
  本稿では,最小限のアノテーションコストで大規模未ラベルコーパスのトレーニングを行うための,プールベースのアクティブラーニング手法を提案する。 提案手法には調整すべきパラメータが一切ないため,データセットに依存しない。 本手法は,最先端のアクティブラーニング戦略と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2022-01-28T19:19:03Z)
• Low-rank Dictionary Learning for Unsupervised Feature Selection [11.634317251468968]
  低ランク表現に辞書学習のアイデアを適用することで、教師なしの新たな特徴選択手法を導入する。 非教師付き特徴選択のための統一目的関数は、$ell_2,1$-norm正規化によってスパースな方法で提案される。 実験の結果,提案手法は最先端のアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-06-21T13:39:10Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Data Augmentation in Natural Language Processing: A Novel Text Generation Approach for Long and Short Text Classifiers [8.19984844136462]
  本稿では,長文と短文の分類器の性能向上に適したテキスト生成手法を提案し,評価する。 シミュレーションされた低データレギュレーションでは、最大15.53%の加算精度ゲインが達成される。 さまざまな種類のデータセットに対するアプローチを成功に導くための意味とパターンについて議論します。
  論文  参考訳（メタデータ） (2021-03-26T13:16:07Z)
• Does a Hybrid Neural Network based Feature Selection Model Improve Text Classification? [9.23545668304066]
  関連する特徴を得るためのハイブリッド特徴選択手法を提案する。 次に、特徴選択とニューラルネットワークパイプラインを実装する3つの方法を示す。 また,いくつかのデータセットの精度もわずかに向上した。
  論文  参考訳（メタデータ） (2021-01-22T09:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。