論文の概要: SECNN: Squeeze-and-Excitation Convolutional Neural Network for Sentence
Classification
- arxiv url: http://arxiv.org/abs/2312.06088v1
- Date: Mon, 11 Dec 2023 03:26:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 17:03:23.568334
- Title: SECNN: Squeeze-and-Excitation Convolutional Neural Network for Sentence
Classification
- Title(参考訳): SECNN: 文分類のためのSqueeze-and-Excitation Convolutional Neural Network
- Authors: Shandong Yuan
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は畳み込みフィルタによってn-gramの特徴を抽出する能力を持つ。
文分類のためのSqueeze-and-Excitation Convolutional Neural Network (SECNN)を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sentence classification is one of the basic tasks of natural language
processing. Convolution neural network (CNN) has the ability to extract n-grams
features through convolutional filters and capture local correlations between
consecutive words in parallel, so CNN is a popular neural network architecture
to dealing with the task. But restricted by the width of convolutional filters,
it is difficult for CNN to capture long term contextual dependencies. Attention
is a mechanism that considers global information and pays more attention to
keywords in sentences, thus attention mechanism is cooperated with CNN network
to improve performance in sentence classification task. In our work, we don't
focus on keyword in a sentence, but on which CNN's output feature map is more
important. We propose a Squeeze-and-Excitation Convolutional neural Network
(SECNN) for sentence classification. SECNN takes the feature maps from multiple
CNN as different channels of sentence representation, and then, we can utilize
channel attention mechanism, that is SE attention mechanism, to enable the
model to learn the attention weights of different channel features. The results
show that our model achieves advanced performance in the sentence
classification task.
- Abstract(参考訳): 文分類は自然言語処理の基本課題の1つである。
畳み込みニューラルネットワーク(cnn)は畳み込みフィルタを通じてn-grams特徴を抽出する能力を持ち、連続する単語間の局所相関を並列に捉えることができるため、cnnはタスクを扱うための一般的なニューラルネットワークアーキテクチャである。
しかし畳み込みフィルタの幅によって制限されるため、cnnが長期的な文脈依存を捉えることは困難である。
注意はグローバルな情報を考慮し、文中のキーワードに注意を払うメカニズムであり、注意機構はCNNネットワークと協調して文分類タスクのパフォーマンスを向上させる。
我々の研究では、文中のキーワードではなく、どのCNNの出力機能マップがより重要であるかに焦点を当てています。
文分類のためのSqueeze-and-Excitation Convolutional Neural Network (SECNN)を提案する。
secnn は複数の cnn から特徴マップを異なる文表現のチャネルとして取り、その上で、各チャネルの特徴の注意重みをモデルが学習できるように、チャネルアテンション機構(se attention mechanism)を活用できる。
その結果,本モデルは文分類タスクにおいて高度な性能を達成できることがわかった。
関連論文リスト
- CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳(メタデータ) (2024-04-23T08:19:08Z) - PICNN: A Pathway towards Interpretable Convolutional Neural Networks [12.31424771480963]
フィルタと画像のクラス間の絡み合いを軽減する新しい経路を導入する。
我々はBernoulliサンプリングを用いて、学習可能なフィルタクラス対応行列からフィルタクラスタ割り当て行列を生成する。
提案手法の有効性を,広く使用されている10のネットワークアーキテクチャ上で評価する。
論文 参考訳(メタデータ) (2023-12-19T11:36:03Z) - A novel feature-scrambling approach reveals the capacity of
convolutional neural networks to learn spatial relations [0.0]
畳み込みニューラルネットワーク(CNN)は、物体認識を解く最も成功したコンピュータビジョンシステムの一つである。
しかし、CNNが実際にどのように決断を下すのか、内部表現の性質や認識戦略が人間とどのように異なるのかは、いまだに理解されていない。
論文 参考訳(メタデータ) (2022-12-12T16:40:29Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳(メタデータ) (2022-08-01T17:19:32Z) - Contextually Guided Convolutional Neural Networks for Learning Most
Transferable Representations [1.160208922584163]
新たなタスクに転送可能な汎用表現を開発するための効率的なアルゴリズムをトレーニングなしで提案する。
コンテキストガイド付きCNN(CG-CNN)は、データセット内のランダムな画像位置で選択された近隣画像パッチのグループに基づいて訓練される。
自然画像への適用では、CG-CNNの機能は、最初のCNNレイヤーの同等の転送可能な機能と同じ、高い場合でも、転送ユーティリティと分類精度を示しています。
論文 参考訳(メタデータ) (2021-03-02T08:41:12Z) - The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。
本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文 参考訳(メタデータ) (2021-01-29T07:46:39Z) - Training Interpretable Convolutional Neural Networks by Differentiating
Class-specific Filters [64.46270549587004]
畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。
CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。
本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-16T09:12:26Z) - Multichannel CNN with Attention for Text Classification [5.1545224296246275]
本稿では,テキスト分類のための注意型マルチチャネル畳み込みニューラルネットワーク(AMCNN)を提案する。
AMCNNは、単語の歴史と将来の情報を高次元表現にエンコードするために双方向長短期記憶を使用する。
ベンチマークデータセットの実験結果は、AMCNNが最先端の手法よりも優れたパフォーマンスを達成していることを示している。
論文 参考訳(メタデータ) (2020-06-29T16:37:51Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳(メタデータ) (2020-03-03T07:27:44Z) - Hybrid Tiled Convolutional Neural Networks for Text Sentiment
Classification [3.0204693431381515]
階層型畳み込みニューラルネットワーク(CNN)のアーキテクチャを調整し、感情分析のための健全な特徴の抽出を改善する。
NLP分野におけるタイル付きCNNの大きな欠点は、その柔軟性のないフィルタ構造であることを認識し、我々はハイブリッドタイル付きCNNと呼ばれる新しいアーキテクチャを提案する。
IMDBの映画レビューとSemEval 2017のデータセットの実験は、ハイブリッドタイルCNNの効率を実証している。
論文 参考訳(メタデータ) (2020-01-31T14:08:15Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。