論文の概要: Text Classification with Lexicon from PreAttention Mechanism

• arxiv url: http://arxiv.org/abs/2002.07591v1
• Date: Tue, 18 Feb 2020 14:40:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:16:18.982006
• Title: Text Classification with Lexicon from PreAttention Mechanism
• Title（参考訳）: プレアテンション機構からの辞書によるテキスト分類
• Authors: QingBiao LI (Beijing University of Posts and Telecommunications), Chunhua Wu (Beijing University of Posts and Telecommunications), Kangfeng Zheng (Beijing University of Posts and Telecommunications)
• Abstract要約: 包括的で高品質な辞書は、伝統的なテキスト分類アプローチにおいて重要な役割を果たす。 そこで本研究では,テキスト分類に対する事前注意機構を提案する。 スタンフォード大映画レビューのデータセットでは90.5%、主観性データセットでは82.3%、映画レビューでは93.7%の精度が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A comprehensive and high-quality lexicon plays a crucial role in traditional text classification approaches. And it improves the utilization of the linguistic knowledge. Although it is helpful for the task, the lexicon has got little attention in recent neural network models. Firstly, getting a high-quality lexicon is not easy. We lack an effective automated lexicon extraction method, and most lexicons are hand crafted, which is very inefficient for big data. What's more, there is no an effective way to use a lexicon in a neural network. To address those limitations, we propose a Pre-Attention mechanism for text classification in this paper, which can learn attention of different words according to their effects in the classification tasks. The words with different attention can form a domain lexicon. Experiments on three benchmark text classification tasks show that our models get competitive result comparing with the state-of-the-art methods. We get 90.5% accuracy on Stanford Large Movie Review dataset, 82.3% on Subjectivity dataset, 93.7% on Movie Reviews. And compared with the text classification model without Pre-Attention mechanism, those with Pre-Attention mechanism improve by 0.9%-2.4% accuracy, which proves the validity of the Pre-Attention mechanism. In addition, the Pre-Attention mechanism performs well followed by different types of neural networks (e.g., convolutional neural networks and Long Short-Term Memory networks). For the same dataset, when we use Pre-Attention mechanism to get attention value followed by different neural networks, those words with high attention values have a high degree of coincidence, which proves the versatility and portability of the Pre-Attention mechanism. we can get stable lexicons by attention values, which is an inspiring method of information extraction.
• Abstract（参考訳）: 包括的で高品質な辞書は、伝統的なテキスト分類アプローチにおいて重要な役割を果たす。 そして、言語知識の利用を改善する。 このタスクには役立つが、最近のニューラルネットワークモデルでは、レキシコンはほとんど注目されていない。 まず、高品質のレキシコンを得るのは容易ではない。 我々は効率的な自動辞書抽出手法を欠き、ほとんどの辞書は手作りであり、これはビッグデータにとって非常に非効率である。 さらに、ニューラルネットワークでレキシコンを使用する効果的な方法は存在しません。 そこで本論文では,これらの制約に対処するために,テキスト分類に対する事前対応機構を提案する。 異なる注意を持つ単語はドメイン辞書を形成することができる。 3つのベンチマークテキスト分類タスクの実験は、我々のモデルが最先端の手法と比較して競合する結果が得られることを示している。 スタンフォード大映画レビューデータセットでは90.5%、主観性データセットでは82.3%、映画レビューでは93.7%である。 また,前置機構のないテキスト分類モデルと比較すると,前置機構の精度が0.9%-2.4%向上し,前置機構の有効性が証明された。 さらに、Pre-Attentionメカニズムは、さまざまなタイプのニューラルネットワーク(畳み込みニューラルネットワークやLong Short-Term Memory Networkなど)でうまく機能する。 同じデータセットでは、注意値が異なるニューラルネットワークに追従するために事前アテンション機構を使用する場合、注意値の高い単語は高い一致度を持つため、事前アテンション機構の汎用性と可搬性が証明される。 注意値で安定なレキシコンを 得ることができます 情報抽出の インスピレーションの方法です

関連論文リスト

• Text Classification Based on Knowledge Graphs and Improved Attention Mechanism [12.008192698720947]
  モデルは文字レベルと単語レベルの両方で動作し、概念を統合することで理解を深める。 その性能はAGNews、Ohsumed、TagMyNewsなどのデータセットで実証されており、それぞれ75.1%、58.7%、68.5%の精度が達成されている。
  論文  参考訳（メタデータ） (2024-01-07T22:20:55Z)
• Multi-label Text Classification using GloVe and Neural Network Models [0.27195102129094995]
  既存のソリューションには、予測のための従来の機械学習とディープニューラルネットワークが含まれる。 本稿では,GloVe モデルと CNN-BiLSTM ネットワークに基づくback-of-words モデル手法を提案する。 テストセットの精度は87.26%、F1スコアは0.8737であり、有望な結果を示している。
  論文  参考訳（メタデータ） (2023-10-25T01:30:26Z)
• Three ways to improve feature alignment for open vocabulary detection [88.65076922242184]
  ゼロショットオープンボキャブラリ検出の鍵となる問題は、視覚的特徴とテキスト的特徴の整合性である。 以前のアプローチでは、特徴ピラミッドと検出ヘッドをゼロからトレーニングし、事前トレーニング中に確立された視覚テキストの特徴アライメントを壊す。 本稿では,これらの問題を緩和する3つの方法を提案する。まず,テキストの埋め込みを強化するための簡単なスキームを用いて,学習中に見られる少数のクラスへの過度な適合を防止する。 次に、特徴ピラミッドネットワークと検出ヘッドをトレーニング可能なショートカットを含むように変更する。 最後に、より大きなコーパスを活用するために、自己学習アプローチが使用される。
  論文  参考訳（メタデータ） (2023-03-23T17:59:53Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Speaker Embedding-aware Neural Diarization for Flexible Number of Speakers with Textual Information [55.75018546938499]
  本稿では,話者埋め込み認識型ニューラルダイアリゼーション(SEND)手法を提案する。 本手法は,ターゲット話者の音声活動検出よりも低いダイアリゼーション誤差率を実現する。
  論文  参考訳（メタデータ） (2021-11-28T12:51:04Z)
• Intent Classification Using Pre-Trained Embeddings For Low Resource Languages [67.40810139354028]
  言語固有の音声認識に依存しない音声理解システムを構築することは、言語処理において重要でない問題である。 本稿では,事前学習した音響モデルを用いて,低資源シナリオにおける音声言語理解を実現するための比較研究を提案する。 私たちは、ハイ、ミディアム、低リソースシナリオをシミュレートするために、それぞれ異なるデータサイズを持つ英語、Sinhala、Tamilの3つの異なる言語で実験を行います。
  論文  参考訳（メタデータ） (2021-10-18T13:06:59Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Detecting of a Patient's Condition From Clinical Narratives Using Natural Language Representation [0.3149883354098941]
  本稿では,臨床自然言語表現学習と教師付き分類フレームワークを提案する。 この新しいフレームワークは、文脈的臨床物語入力から分布構文と潜在意味論(表現学習)を共同で発見する。 提案手法では, 精度, 再現性, 精度をそれぞれ89 %, 88 %, 89 %とした総合分類性能が得られる。
  論文  参考訳（メタデータ） (2021-04-08T17:16:04Z)
• A Novel Deep Learning Method for Textual Sentiment Analysis [3.0711362702464675]
  本稿では,階層的注意層を統合した畳み込みニューラルネットワークを提案する。 提案モデルでは,分類精度が高く,情報的単語を抽出できる。 インクリメンタル転送学習を適用すると、分類性能が大幅に向上します。
  論文  参考訳（メタデータ） (2021-02-23T12:11:36Z)
• Does a Hybrid Neural Network based Feature Selection Model Improve Text Classification? [9.23545668304066]
  関連する特徴を得るためのハイブリッド特徴選択手法を提案する。 次に、特徴選択とニューラルネットワークパイプラインを実装する3つの方法を示す。 また,いくつかのデータセットの精度もわずかに向上した。
  論文  参考訳（メタデータ） (2021-01-22T09:12:19Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。