Fugu-MT 論文翻訳(概要): Text Classification based on Multi-granularity Attention Hybrid Neural Network

論文の概要: Text Classification based on Multi-granularity Attention Hybrid Neural Network

arxiv url: http://arxiv.org/abs/2008.05282v1
Date: Wed, 12 Aug 2020 13:02:48 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 04:37:04.679247
Title: Text Classification based on Multi-granularity Attention Hybrid Neural Network
Title（参考訳）: 多面的注意ハイブリッドニューラルネットワークによるテキスト分類
Authors: Zhenyu Liu, Chaohong Lu, Haiwei Huang, Shengfei Lyu, Zhenchao Tao
Abstract要約: マルチグラニュラリティアテンションに基づくハイブリッドニューラルネットワーク(MahNN)という,新しい階層型マルチグラニュラリティアテンション機構に基づくハイブリッドアーキテクチャを提案する。注目されるメカニズムは、ニューラルネットワークの計算効率と性能を高めるために、入力シーケンスの異なる部分に異なる重みを割り当てることである。
参考スコア（独自算出の注目度）: 4.718408602093766
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural network-based approaches have become the driven forces for Natural Language Processing (NLP) tasks. Conventionally, there are two mainstream neural architectures for NLP tasks: the recurrent neural network (RNN) and the convolution neural network (ConvNet). RNNs are good at modeling long-term dependencies over input texts, but preclude parallel computation. ConvNets do not have memory capability and it has to model sequential data as un-ordered features. Therefore, ConvNets fail to learn sequential dependencies over the input texts, but it is able to carry out high-efficient parallel computation. As each neural architecture, such as RNN and ConvNets, has its own pro and con, integration of different architectures is assumed to be able to enrich the semantic representation of texts, thus enhance the performance of NLP tasks. However, few investigation explores the reconciliation of these seemingly incompatible architectures. To address this issue, we propose a hybrid architecture based on a novel hierarchical multi-granularity attention mechanism, named Multi-granularity Attention-based Hybrid Neural Network (MahNN). The attention mechanism is to assign different weights to different parts of the input sequence to increase the computation efficiency and performance of neural models. In MahNN, two types of attentions are introduced: the syntactical attention and the semantical attention. The syntactical attention computes the importance of the syntactic elements (such as words or sentence) at the lower symbolic level and the semantical attention is used to compute the importance of the embedded space dimension corresponding to the upper latent semantics. We adopt the text classification as an exemplifying way to illustrate the ability of MahNN to understand texts.
Abstract（参考訳）: ニューラルネットワークベースのアプローチは、自然言語処理(NLP)タスクの原動力となっている。従来のnlpタスクには、recurrent neural network(rnn)とconvolution neural network(convnet)という2つのメインストリームニューラルネットワークがある。 RNNは入力テキストによる長期依存関係のモデリングに長けているが、並列計算を妨げている。 ConvNetにはメモリ機能がなく、シーケンシャルデータを非順序機能としてモデル化する必要がある。そのため、ConvNetsは入力テキストの逐次依存関係を学習することができないが、高効率な並列計算を行うことができる。 RNNやConvNetsなど、それぞれのニューラルアーキテクチャが独自のproとconを持っているため、異なるアーキテクチャの統合は、テキストの意味表現を強化し、NLPタスクのパフォーマンスを向上させることができると仮定されている。しかし、これらの非互換なアーキテクチャの和解を調査する研究はほとんどない。本稿では,階層型多粒度注目機構であるmahnn(multi-granularity attention-based hybrid neural network)に基づくハイブリッドアーキテクチャを提案する。注目されるメカニズムは、ニューラルネットワークの計算効率と性能を高めるために、入力シーケンスの異なる部分に異なる重みを割り当てることである。 MahNNでは、構文的注意と意味的注意という2つのタイプの注意が導入されている。構文的注意は、低い記号レベルで構文要素(単語や文など)の重要性を計算し、意味論的注意は、上位潜在意味論に対応する埋め込み空間次元の重要性を計算するために使用される。我々は,MahNNのテキスト理解能力を示す例として,テキスト分類を採用した。

関連論文リスト

Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文参考訳（メタデータ） (2023-10-17T01:05:28Z)
Set-based Neural Network Encoding [57.15855198512551]
一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
論文参考訳（メタデータ） (2023-05-26T04:34:28Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
Split-Et-Impera: A Framework for the Design of Distributed Deep Learning Applications [8.434224141580758]
Split-Et-Imperaは、ディープネットワークの解釈可能性の原則に基づいて、ニューラルネットワークのベストスプリットポイントのセットを決定する。異なるニューラルネットワーク再構成の迅速な評価のための通信認識シミュレーションを実行する。これは、アプリケーションのサービス要件の品質と、正確性とレイテンシ時間の観点からのパフォーマンスのベストマッチを示唆している。
論文参考訳（メタデータ） (2023-03-22T13:00:00Z)
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization [0.0]
畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
論文参考訳（メタデータ） (2023-03-13T14:27:34Z)
Seeking Interpretability and Explainability in Binary Activated Neural Networks [2.828173677501078]
本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
論文参考訳（メタデータ） (2022-09-07T20:11:17Z)
Modeling Structure with Undirected Neural Networks [20.506232306308977]
任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
論文参考訳（メタデータ） (2022-02-08T10:06:51Z)
Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-06T23:45:58Z)
Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-19T15:28:00Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Multichannel CNN with Attention for Text Classification [5.1545224296246275]
本稿では,テキスト分類のための注意型マルチチャネル畳み込みニューラルネットワーク(AMCNN)を提案する。 AMCNNは、単語の歴史と将来の情報を高次元表現にエンコードするために双方向長短期記憶を使用する。ベンチマークデータセットの実験結果は、AMCNNが最先端の手法よりも優れたパフォーマンスを達成していることを示している。
論文参考訳（メタデータ） (2020-06-29T16:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。