論文の概要: Multichannel CNN with Attention for Text Classification

• arxiv url: http://arxiv.org/abs/2006.16174v1
• Date: Mon, 29 Jun 2020 16:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 13:28:43.240154
• Title: Multichannel CNN with Attention for Text Classification
• Title（参考訳）: テキスト分類に留意したマルチチャネルCNN
• Authors: Zhenyu Liu, Haiwei Huang, Chaohong Lu, Shengfei Lyu
• Abstract要約: 本稿では,テキスト分類のための注意型マルチチャネル畳み込みニューラルネットワーク(AMCNN)を提案する。 AMCNNは、単語の歴史と将来の情報を高次元表現にエンコードするために双方向長短期記憶を使用する。 ベンチマークデータセットの実験結果は、AMCNNが最先端の手法よりも優れたパフォーマンスを達成していることを示している。
• 参考スコア（独自算出の注目度）: 5.1545224296246275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years, the approaches based on neural networks have shown remarkable potential for sentence modeling. There are two main neural network structures: recurrent neural network (RNN) and convolution neural network (CNN). RNN can capture long term dependencies and store the semantics of the previous information in a fixed-sized vector. However, RNN is a biased model and its ability to extract global semantics is restricted by the fixed-sized vector. Alternatively, CNN is able to capture n-gram features of texts by utilizing convolutional filters. But the width of convolutional filters restricts its performance. In order to combine the strengths of the two kinds of networks and alleviate their shortcomings, this paper proposes Attention-based Multichannel Convolutional Neural Network (AMCNN) for text classification. AMCNN utilizes a bi-directional long short-term memory to encode the history and future information of words into high dimensional representations, so that the information of both the front and back of the sentence can be fully expressed. Then the scalar attention and vectorial attention are applied to obtain multichannel representations. The scalar attention can calculate the word-level importance and the vectorial attention can calculate the feature-level importance. In the classification task, AMCNN uses a CNN structure to cpture word relations on the representations generated by the scalar and vectorial attention mechanism instead of calculating the weighted sums. It can effectively extract the n-gram features of the text. The experimental results on the benchmark datasets demonstrate that AMCNN achieves better performance than state-of-the-art methods. In addition, the visualization results verify the semantic richness of multichannel representations.
• Abstract（参考訳）: 近年、ニューラルネットワークに基づくアプローチは文のモデリングに顕著な可能性を示している。 リカレントニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)の2つの主要なニューラルネットワーク構造がある。 RNNは長期の依存関係をキャプチャし、以前の情報のセマンティクスを固定サイズのベクトルに格納することができる。 しかし、RNNはバイアスモデルであり、グローバルな意味論を抽出する能力は固定サイズのベクトルによって制限される。 また、cnnは畳み込みフィルタを利用してテキストのn-gram特徴をキャプチャできる。 しかし畳み込みフィルタの幅は性能を制限している。 本稿では,2種類のネットワークの強みを組み合わせ,その欠点を軽減するために,テキスト分類のための注意型マルチチャネル畳み込みニューラルネットワーク(AMCNN)を提案する。 AMCNNは、単語の歴史と将来の情報を高次元表現に符号化するために双方向の長短期記憶を利用するため、文の前と後ろの両方の情報を完全に表現することができる。 次に、スカラー注意とベクトル注意を適用してマルチチャネル表現を得る。 スカラー注意は単語レベルの重要度を計算し、ベクトル的注意は特徴レベルの重要度を計算できる。 分類タスクにおいて、AMCNNは重み付け和を計算する代わりに、スカラーおよびベクトル的アテンション機構によって生成された表現に関する単語関係をCNN構造を用いて決定する。 テキストのn-gram特徴を効果的に抽出できる。 ベンチマークデータセットの実験結果は、AMCNNが最先端の手法よりも優れたパフォーマンスを達成していることを示している。 さらに、可視化結果により、マルチチャネル表現のセマンティックリッチ性を検証する。

関連論文リスト

• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• SECNN: Squeeze-and-Excitation Convolutional Neural Network for Sentence Classification [0.0]
  畳み込みニューラルネットワーク(CNN)は畳み込みフィルタによってn-gramの特徴を抽出する能力を持つ。 文分類のためのSqueeze-and-Excitation Convolutional Neural Network (SECNN)を提案する。
  論文  参考訳（メタデータ） (2023-12-11T03:26:36Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)
• Text Classification based on Multi-granularity Attention Hybrid Neural Network [4.718408602093766]
  マルチグラニュラリティアテンションに基づくハイブリッドニューラルネットワーク(MahNN)という,新しい階層型マルチグラニュラリティアテンション機構に基づくハイブリッドアーキテクチャを提案する。 注目されるメカニズムは、ニューラルネットワークの計算効率と性能を高めるために、入力シーケンスの異なる部分に異なる重みを割り当てることである。
  論文  参考訳（メタデータ） (2020-08-12T13:02:48Z)
• Combine Convolution with Recurrent Networks for Text Classification [12.92202472766078]
  本稿では,2つのネットワークの強みを最大限に維持するための新しい手法を提案する。 提案モデルでは、畳み込みニューラルネットワークを用いて、各行が異なる側面から各単語の重要性を反映する2次元重み行列を学習する。 両方向のRNNを用いて各単語を処理し、前後に隠された状態を融合して単語表現を得る神経テンソル層を用いる。
  論文  参考訳（メタデータ） (2020-06-29T03:36:04Z)
• Visual Commonsense R-CNN [102.5061122013483]
  本稿では,新しい教師なし特徴表現学習手法であるVisual Commonsense Region-based Convolutional Neural Network (VC R-CNN)を提案する。 VC R-CNNは、キャプションやVQAのような高レベルのタスクのための改善された視覚領域エンコーダとして機能する。 我々は、画像キャプション、VQA、VCRの3つの一般的なタスクのモデルにおいて、VC R-CNNの機能を広く適用し、それら全体で一貫したパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2020-02-27T15:51:19Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。