論文の概要: Text Classification: Neural Networks VS Machine Learning Models VS Pre-trained Models

• arxiv url: http://arxiv.org/abs/2412.21022v1
• Date: Mon, 30 Dec 2024 15:44:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:05:01.467232
• Title: Text Classification: Neural Networks VS Machine Learning Models VS Pre-trained Models
• Title（参考訳）: テキスト分類: ニューラルネットワーク VS 機械学習モデル VS 事前訓練モデル
• Authors: Christos Petridis,
• Abstract要約: テキスト分類を行う異なる手法の比較を行う。 我々は、事前訓練されたモデル7つ、標準ニューラルネットワーク3つ、機械学習モデル3つを考慮する。 標準的なニューラルネットワークと機械学習モデルでは、TF-IDFとGloVeという2つの埋め込みテクニックを比較します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Text classification is a very common task nowadays and there are many efficient methods and algorithms that we can employ to accomplish it. Transformers have revolutionized the field of deep learning, particularly in Natural Language Processing (NLP) and have rapidly expanded to other domains such as computer vision, time-series analysis and more. The transformer model was firstly introduced in the context of machine translation and its architecture relies on self-attention mechanisms to capture complex relationships within data sequences. It is able to handle long-range dependencies more effectively than traditional neural networks (such as Recurrent Neural Networks and Multilayer Perceptrons). In this work, we present a comparison between different techniques to perform text classification. We take into consideration seven pre-trained models, three standard neural networks and three machine learning models. For standard neural networks and machine learning models we also compare two embedding techniques: TF-IDF and GloVe, with the latter consistently outperforming the former. Finally, we demonstrate the results from our experiments where pre-trained models such as BERT and DistilBERT always perform better than standard models/algorithms.
• Abstract（参考訳）: テキスト分類は、今日では非常に一般的なタスクであり、それを達成するために利用できる多くの効率的な方法とアルゴリズムがあります。 トランスフォーマーは、特に自然言語処理(NLP)においてディープラーニングの分野に革命をもたらし、コンピュータビジョンや時系列分析など他の分野にも急速に拡大してきた。 トランスモデルはまず機械翻訳の文脈で導入され、そのアーキテクチャはデータシーケンス内の複雑な関係をキャプチャする自己認識機構に依存している。 従来のニューラルネットワーク(Recurrent Neural NetworksやMultilayer Perceptronsなど)よりも効果的に、長距離依存を処理することができる。 本研究では,テキスト分類を行う異なる手法の比較を行う。 我々は、事前訓練されたモデル7つ、標準ニューラルネットワーク3つ、機械学習モデル3つを考慮する。 標準的なニューラルネットワークと機械学習モデルでは、TF-IDFとGloVeという2つの埋め込みテクニックも比較します。 最後に、BERT や DistilBERT のような事前学習モデルが標準モデルやアルゴリズムよりも常に優れた性能を発揮する実験結果を示す。

関連論文リスト

• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Multi-label Text Classification using GloVe and Neural Network Models [0.27195102129094995]
  既存のソリューションには、予測のための従来の機械学習とディープニューラルネットワークが含まれる。 本稿では,GloVe モデルと CNN-BiLSTM ネットワークに基づくback-of-words モデル手法を提案する。 テストセットの精度は87.26%、F1スコアは0.8737であり、有望な結果を示している。
  論文  参考訳（メタデータ） (2023-10-25T01:30:26Z)
• Investigating Continuous Learning in Spiking Neural Networks [0.0]
  連続学習のための第3世代の機械学習(スパイキングニューラルネットワークアーキテクチャとも呼ばれる)を,従来のモデルと比較し検討した。 すべてのモデルは、現在のクラスを正しく識別することができたが、破滅的な忘れ物のために、以前のクラスではすぐに急激なパフォーマンス低下が見られた。
  論文  参考訳（メタデータ） (2023-10-09T02:08:18Z)
• Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
  本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。 我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
  論文  参考訳（メタデータ） (2022-09-08T14:12:15Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• The effects of data size on Automated Essay Scoring engines [0.415623340386296]
  自動エッセイスコアリングエンジンの性能に及ぼすデータサイズと品質の影響について検討する。 この研究は、実運用で使用されるニューラルネットワークのより良いトレーニングデータを確立する方法について、私たちに情報を提供しようとしている。
  論文  参考訳（メタデータ） (2021-08-30T14:39:59Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。