論文の概要: Bag-of-Words vs. Sequence vs. Graph vs. Hierarchy for Single- and Multi-Label Text Classification

• arxiv url: http://arxiv.org/abs/2204.03954v1
• Date: Fri, 8 Apr 2022 09:28:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 12:41:02.493128
• Title: Bag-of-Words vs. Sequence vs. Graph vs. Hierarchy for Single- and Multi-Label Text Classification
• Title（参考訳）: 単一ラベルと複数ラベルテキストの分類におけるバガ-オブ-ワード対シーケンス対グラフ対階層
• Authors: Andor Diera, Bao Xin Lin, Bhakti Khera, Tim Meuser, Tushar Singhal, Lukas Galke, Ansgar Scherp
• Abstract要約: 本稿では,Bag of Words を用いたシンプルな多層パーセプトロン (MLP) が,最近のグラフベースモデル TextGCN と HeteGCN をインダクティブテキスト分類設定で上回っていることを示す。 我々はまた、最近の逐次的なgMLPモデルとaMLPモデルよりも優れた、マルチラベル分類に関する独自の実験も行っています。
• 参考スコア（独自算出の注目度）: 2.7092484410365967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks have triggered a resurgence of graph-based text classification methods, defining today's state of the art. We show that a simple multi-layer perceptron (MLP) using a Bag of Words (BoW) outperforms the recent graph-based models TextGCN and HeteGCN in an inductive text classification setting and is comparable with HyperGAT in single-label classification. We also run our own experiments on multi-label classification, where the simple MLP outperforms the recent sequential-based gMLP and aMLP models. Moreover, we fine-tune a sequence-based BERT and a lightweight DistilBERT model, which both outperform all models on both single-label and multi-label settings in most datasets. These results question the importance of synthetic graphs used in modern text classifiers. In terms of parameters, DistilBERT is still twice as large as our BoW-based wide MLP, while graph-based models like TextGCN require setting up an $\mathcal{O}(N^2)$ graph, where $N$ is the vocabulary plus corpus size.
• Abstract（参考訳）: グラフニューラルネットワークは、今日の最先端技術を定義するグラフベースのテキスト分類方法を復活させた。 本稿では,Bag of Words (BoW) を用いたシンプルな多層パーセプトロン (MLP) が,最近のグラフベースモデルである TextGCN と HeteGCN をインダクティブテキスト分類設定で上回り,シングルラベル分類では HyperGAT に匹敵する性能を示した。 また,マルチラベル分類の実験も行っており,単純なmlpは最近の逐次型gmlpおよびamlpモデルよりも優れている。 さらに、シーケンスベースのbertと軽量ディチルベルトモデルを微調整し、ほとんどのデータセットにおいて、シングルラベル設定とマルチラベル設定の両方で全てのモデルよりも優れています。 これらの結果は、現代テキスト分類器で使われる合成グラフの重要性に疑問を呈する。 パラメータの面では、 DistilBERT は BoW ベースのワイド MLP の2倍の大きさであり、TextGCN のようなグラフベースのモデルでは $\mathcal{O}(N^2)$ graph をセットアップする必要があります。

関連論文リスト

• READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data [7.152603583363887]
  BERTのような事前訓練されたトランスフォーマーモデルは、多くのテキスト分類タスクで大幅に向上している。 本稿では,強化学習に基づくテキスト生成と半教師付き対角学習アプローチをカプセル化する手法を提案する。 提案手法であるREADは、ラベルのないデータセットを用いて、強化学習を通じて多様な合成テキストを生成する。
  論文  参考訳（メタデータ） (2025-01-14T11:39:55Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Linear Classifier: An Often-Forgotten Baseline for Text Classification [12.792276278777532]
  単語のバグ・オブ・ワード機能に線形分類器のような単純なベースラインを,高度な手法とともに実行することの重要性を論じる。 BERTのような先進的なモデルは、適切に適用すれば、最良の結果しか得られない。
  論文  参考訳（メタデータ） (2023-06-12T13:39:54Z)
• TabLLM: Few-shot Classification of Tabular Data with Large Language Models [66.03023402174138]
  大規模言語モデルのゼロショットおよび少数ショット分類への応用について検討する。 テンプレートやテーブル・ツー・テキストモデル,大規模言語モデルなど,いくつかのシリアライズ手法を評価する。 このアプローチは、勾配木のような強力な伝統的なベースラインとも競合する。
  論文  参考訳（メタデータ） (2022-10-19T17:08:13Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
  我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。 提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。 USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
  論文  参考訳（メタデータ） (2022-01-18T07:17:40Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• Self-Training Pre-Trained Language Models for Zero- and Few-Shot Multi-Dialectal Arabic Sequence Labeling [7.310390479801139]
  データスカース変種の性能を改善するため、ゼロおよび少数ショットシナリオで事前訓練された言語モデル。 我々の研究は、MSAリソースのみを活用するDAモデルを開発する機会を開く。
  論文  参考訳（メタデータ） (2021-01-12T21:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。