論文の概要: Combine Convolution with Recurrent Networks for Text Classification
- arxiv url: http://arxiv.org/abs/2006.15795v1
- Date: Mon, 29 Jun 2020 03:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:30:15.029073
- Title: Combine Convolution with Recurrent Networks for Text Classification
- Title（参考訳）: テキスト分類のためのコンボリューションとリカレントネットワークの組み合わせ
- Authors: Shengfei Lyu, Jiaqi Liu
- Abstract要約: 本稿では,2つのネットワークの強みを最大限に維持するための新しい手法を提案する。
提案モデルでは、畳み込みニューラルネットワークを用いて、各行が異なる側面から各単語の重要性を反映する2次元重み行列を学習する。
両方向のRNNを用いて各単語を処理し、前後に隠された状態を融合して単語表現を得る神経テンソル層を用いる。
- 参考スコア（独自算出の注目度）: 12.92202472766078
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural network (CNN) and recurrent neural network (RNN) are two
popular architectures used in text classification. Traditional methods to
combine the strengths of the two networks rely on streamlining them or
concatenating features extracted from them. In this paper, we propose a novel
method to keep the strengths of the two networks to a great extent. In the
proposed model, a convolutional neural network is applied to learn a 2D weight
matrix where each row reflects the importance of each word from different
aspects. Meanwhile, we use a bi-directional RNN to process each word and employ
a neural tensor layer that fuses forward and backward hidden states to get word
representations. In the end, the weight matrix and word representations are
combined to obtain the representation in a 2D matrix form for the text. We
carry out experiments on a number of datasets for text classification. The
experimental results confirm the effectiveness of the proposed method.
- Abstract（参考訳）: convolutional neural network (cnn) と recurrent neural network (rnn) は、テキスト分類に用いられる2つの一般的なアーキテクチャである。
従来の2つのネットワークの強みを組み合わせる方法は、それらを合理化したり、抽出した特徴を結合したりすることに依存している。
本稿では,2つのネットワークの強度を極端に維持するための新しい手法を提案する。
提案モデルでは、畳み込みニューラルネットワークを用いて、各行が異なる側面から各単語の重要性を反映する2次元重み行列を学習する。
一方、双方向のRNNを用いて各単語を処理し、前後に隠された状態を融合して単語表現を得る神経テンソル層を用いる。
最後に、重み行列と単語表現を組み合わせて、テキスト用の2次元行列形式の表現を得る。
テキスト分類のためのいくつかのデータセットの実験を行う。
提案手法の有効性を実験的に検証した。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Training Convolutional Neural Networks with the Forward-Forward
algorithm [1.74440662023704]
Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。
FFパラダイムをCNNに拡張する方法を示す。
我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
論文 参考訳（メタデータ） (2023-12-22T18:56:35Z) - Multi-label Text Classification using GloVe and Neural Network Models [0.27195102129094995]
既存のソリューションには、予測のための従来の機械学習とディープニューラルネットワークが含まれる。
本稿では,GloVe モデルと CNN-BiLSTM ネットワークに基づくback-of-words モデル手法を提案する。
テストセットの精度は87.26%、F1スコアは0.8737であり、有望な結果を示している。
論文 参考訳（メタデータ） (2023-10-25T01:30:26Z) - Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。
我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。
実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
論文 参考訳（メタデータ） (2022-07-08T05:07:19Z) - TextConvoNet:A Convolutional Neural Network based Architecture for Text
Classification [0.34410212782758043]
CNNベースのアーキテクチャTextConvoNetは、文内n-gram特徴を抽出するだけでなく、入力されたテキストデータ中の文間n-gram特徴をキャプチャする。
実験の結果,提案したTextConvoNetは,テキスト分類のための最先端の機械学習モデルやディープラーニングモデルよりも優れていた。
論文 参考訳（メタデータ） (2022-03-10T06:09:56Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Khmer Text Classification Using Word Embedding and Neural Networks [0.0]
Khmerテキストの様々な分類手法について論じる。
Khmerワード埋め込みモデルは、ワードベクトル表現を構築するために、30万のKhmerワードコーパスで訓練される。
複数クラス・複数ラベルのテキスト分類タスクに対して,ニュース記事データセット上での異なるアプローチの性能を評価する。
論文 参考訳（メタデータ） (2021-12-13T15:57:32Z) - Train your classifier first: Cascade Neural Networks Training from upper
layers to lower layers [54.47911829539919]
我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。
本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。
提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
論文 参考訳（メタデータ） (2021-02-09T08:19:49Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Multichannel CNN with Attention for Text Classification [5.1545224296246275]
本稿では,テキスト分類のための注意型マルチチャネル畳み込みニューラルネットワーク(AMCNN)を提案する。
AMCNNは、単語の歴史と将来の情報を高次元表現にエンコードするために双方向長短期記憶を使用する。
ベンチマークデータセットの実験結果は、AMCNNが最先端の手法よりも優れたパフォーマンスを達成していることを示している。
論文 参考訳（メタデータ） (2020-06-29T16:37:51Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。