論文の概要: TextCNN with Attention for Text Classification

• arxiv url: http://arxiv.org/abs/2108.01921v1
• Date: Wed, 4 Aug 2021 09:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-05 19:31:18.516442
• Title: TextCNN with Attention for Text Classification
• Title（参考訳）: テキスト分類に配慮したtextcnn
• Authors: Ibrahim Alshubaily
• Abstract要約: 本稿では,ネットワークにアテンション機構を組み込んで性能を向上させることを提案する。 また,語彙選択のためのWordRankを提案し,ネットワーク埋め込みパラメータを削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The vast majority of textual content is unstructured, making automated classification an important task for many applications. The goal of text classification is to automatically classify text documents into one or more predefined categories. Recently proposed simple architectures for text classification such as Convolutional Neural Networks for Sentence Classification by Kim, Yoon showed promising results. In this paper, we propose incorporating an attention mechanism into the network to boost its performance, we also propose WordRank for vocabulary selection to reduce the network embedding parameters and speed up training with minimum accuracy loss. By adopting the proposed ideas TextCNN accuracy on 20News increased from 94.79 to 96.88, moreover, the number of parameters for the embedding layer can be reduced substantially with little accuracy loss by using WordRank. By using WordRank for vocabulary selection we can reduce the number of parameters by more than 5x from 7.9M to 1.5M, and the accuracy will only decrease by 1.2%.
• Abstract（参考訳）: テキストコンテンツの大部分は構造化されていないため、自動分類は多くのアプリケーションにとって重要なタスクとなっている。 テキスト分類の目標は、テキスト文書を1つ以上の予め定義されたカテゴリに自動的に分類することである。 近年,Kimによる文分類のための畳み込みニューラルネットワークなど,テキスト分類のためのシンプルなアーキテクチャが提案されている。 本稿では,その性能を高めるために注意機構をネットワークに取り入れ,語彙選択のためのワードランクを提案し,ネットワーク埋め込みパラメータを削減し,最小精度の損失でトレーニングを高速化する。 また、提案する20newsのtextcnn精度を94.79から96.88に増やすことで、wordrankを使用することで、埋め込み層のパラメータ数を大幅に削減でき、精度の低下も少ない。 語彙選択にWordRankを使用することで、パラメータの数を7.9Mから1.5Mに5倍以上減らすことができ、精度は1.2%しか低下しない。

関連論文リスト

• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• SpellMapper: A non-autoregressive neural spellchecker for ASR customization with candidate retrieval based on n-gram mappings [76.87664008338317]
  文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。 ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。 Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
  論文  参考訳（メタデータ） (2023-06-04T10:00:12Z)
• Like a Good Nearest Neighbor: Practical Content Moderation and Text Classification [66.02091763340094]
  LaGoNN(Good Nearest Neighbor)は、学習可能なパラメータを導入することなく、隣人の情報で入力テキストを変更するSetFitの変更である。 LaGoNNは望ましくないコンテンツやテキスト分類のフラグ付けに有効であり、SetFitのパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-02-17T15:43:29Z)
• Language Semantics Interpretation with an Interaction-based Recurrent Neural Networks [0.0]
  本稿では,新しいインフルエンススコア (I-score) と,BDA (Backward Dropping Algorithm) と呼ばれるグリージー検索アルゴリズムと,"Dagger Technique" と呼ばれる特徴工学的手法を提案する。 提案手法は,他の人気ピアと比較して81%の誤差削減率で予測性能を向上させるために適用された。
  論文  参考訳（メタデータ） (2021-11-02T00:39:21Z)
• Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
  深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。 提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
  論文  参考訳（メタデータ） (2021-08-23T09:05:18Z)
• Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
  テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。 具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。 実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
  論文  参考訳（メタデータ） (2021-02-23T04:14:34Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• Rank over Class: The Untapped Potential of Ranking in Natural Language Processing [8.637110868126546]
  我々は、現在分類を用いて対処されている多くのタスクが、実際には分類モールドに切り替わっていると論じる。 本稿では,一対のテキストシーケンスの表現を生成するトランスフォーマーネットワークからなる新しいエンドツーエンドランキング手法を提案する。 重く歪んだ感情分析データセットの実験では、ランキング結果を分類ラベルに変換すると、最先端のテキスト分類よりも約22%改善する。
  論文  参考訳（メタデータ） (2020-09-10T22:18:57Z)
• Light-Weighted CNN for Text Classification [0.0]
  分離可能な畳み込みに基づく新しいアーキテクチャを導入する。 分離可能な畳み込みの概念は、既に画像分類の分野に存在している。 このアーキテクチャの助けを借りて、トレーニング可能なパラメータを大幅に削減できる。
  論文  参考訳（メタデータ） (2020-04-16T20:23:52Z)
• SeMemNN: A Semantic Matrix-Based Memory Neural Network for Text Classification [15.111940377403252]
  本稿では,エンド・ツー・エンドの学習方法を用いて,セマンティック・マトリックス・ベースのメモリ・ニューラル・ネットワークのための5つの異なる構成を提案する。 提案手法を2つのニュース記事のコーパス(AGニュース, Sogouニュース)で評価する。
  論文  参考訳（メタデータ） (2020-03-04T02:00:57Z)
• Text Classification with Lexicon from PreAttention Mechanism [0.0]
  包括的で高品質な辞書は、伝統的なテキスト分類アプローチにおいて重要な役割を果たす。 そこで本研究では,テキスト分類に対する事前注意機構を提案する。 スタンフォード大映画レビューのデータセットでは90.5%、主観性データセットでは82.3%、映画レビューでは93.7%の精度が得られた。
  論文  参考訳（メタデータ） (2020-02-18T14:40:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。