論文の概要: A Multi-Size Neural Network with Attention Mechanism for Answer
Selection
- arxiv url: http://arxiv.org/abs/2105.03278v1
- Date: Sat, 24 Apr 2021 02:13:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 08:35:07.743619
- Title: A Multi-Size Neural Network with Attention Mechanism for Answer
Selection
- Title(参考訳): 回答選択のための注意機構を有するマルチサイズニューラルネットワーク
- Authors: Jie Huang
- Abstract要約: 応答選択タスクには,アテンション機構を備えたマルチサイズニューラルネットワーク(AM-MSNN)が効果的に導入されている。
単一層CNNや多層CNNと比較してフィルタのサイズが多様であるため、並列でより多くの言語粒度をキャプチャする。
注意機構によって文表現を拡張し、様々な種類の質問についてより多くの情報を含む。
- 参考スコア(独自算出の注目度): 3.310455595316906
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Semantic matching is of central significance to the answer selection task
which aims to select correct answers for a given question from a candidate
answer pool. A useful method is to employ neural networks with attention to
generate sentences representations in a way that information from pair
sentences can mutually influence the computation of representations. In this
work, an effective architecture,multi-size neural network with attention
mechanism (AM-MSNN),is introduced into the answer selection task. This
architecture captures more levels of language granularities in parallel,
because of the various sizes of filters comparing with single-layer CNN and
multi-layer CNNs. Meanwhile it extends the sentence representations by
attention mechanism, thus containing more information for different types of
questions. The empirical study on three various benchmark tasks of answer
selection demonstrates the efficacy of the proposed model in all the benchmarks
and its superiority over competitors. The experimental results show that (1)
multi-size neural network (MSNN) is a more useful method to capture abstract
features on different levels of granularities than single/multi-layer CNNs; (2)
the attention mechanism (AM) is a better strategy to derive more informative
representations; (3) AM-MSNN is a better architecture for the answer selection
task for the moment.
- Abstract(参考訳): セマンティックマッチングは、ある質問に対する正しい回答を候補回答プールから選択することを目的とした回答選択タスクにおいて重要なものである。
有用な方法は、ニューラルネットワークを用いて、一対の文からの情報が相互に表現の計算に影響を与えるように文表現を生成することである。
本研究では,アテンション機構を備えたマルチサイズニューラルネットワーク(AM-MSNN)を解答選択タスクに導入する。
このアーキテクチャは、単一層cnnや多層cnnと比較してフィルタのサイズが異なるため、言語粒度を並列に捉えることができる。
一方、注意機構によって文表現を拡張し、様々な種類の質問についてより多くの情報を含んでいる。
回答選択の3つのベンチマークタスクに関する実証研究は、すべてのベンチマークにおける提案モデルの有効性と、その競合に対する優位性を示している。
実験の結果,(1)多層ニューラルネットワーク(MSNN)は単層/多層CNNよりも粒度の異なる抽象的特徴を捉えるのに有用な手法であり,(2)注目機構(AM)はより情報的表現を導き出すためのより良い戦略であり,(3)AM-MSNNは今のところの回答選択タスクの優れたアーキテクチャであることがわかった。
関連論文リスト
- Effective Subset Selection Through The Lens of Neural Network Pruning [31.43307762723943]
注釈付きデータを賢明に選択することが重要であり、これは部分集合選択問題として知られている。
より広範に研究されているサブセット選択とニューラルネットワークプルーニングの関係について検討する。
ニューラルネットワークの特徴のノルム基準を利用して、サブセット選択法を改善することを提案する。
論文 参考訳(メタデータ) (2024-06-03T08:12:32Z) - CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。
Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
論文 参考訳(メタデータ) (2024-04-23T08:19:08Z) - SECNN: Squeeze-and-Excitation Convolutional Neural Network for Sentence
Classification [0.0]
畳み込みニューラルネットワーク(CNN)は畳み込みフィルタによってn-gramの特徴を抽出する能力を持つ。
文分類のためのSqueeze-and-Excitation Convolutional Neural Network (SECNN)を提案する。
論文 参考訳(メタデータ) (2023-12-11T03:26:36Z) - Deception Detection from Linguistic and Physiological Data Streams Using Bimodal Convolutional Neural Networks [19.639533220155965]
本稿では,畳み込み型ニューラルネットワークのマルチモーダルな騙し検出への応用について検討する。
2つのトピックについて104人の被験者にインタビューして構築したデータセットを使用します。
論文 参考訳(メタデータ) (2023-11-18T02:44:33Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳(メタデータ) (2022-06-17T04:07:45Z) - Classification of diffraction patterns using a convolutional neural
network in single particle imaging experiments performed at X-ray
free-electron lasers [53.65540150901678]
X線自由電子レーザー(XFEL)における単一粒子イメージング(SPI)は、その自然環境における粒子の3次元構造を決定するのに特に適している。
再建を成功させるためには、単一のヒットに由来する回折パターンを多数の取得パターンから分離する必要がある。
本稿では,この課題を画像分類問題として定式化し,畳み込みニューラルネットワーク(CNN)アーキテクチャを用いて解決することを提案する。
論文 参考訳(メタデータ) (2021-12-16T17:03:14Z) - The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。
本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文 参考訳(メタデータ) (2021-01-29T07:46:39Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳(メタデータ) (2020-12-23T09:33:11Z) - Multichannel CNN with Attention for Text Classification [5.1545224296246275]
本稿では,テキスト分類のための注意型マルチチャネル畳み込みニューラルネットワーク(AMCNN)を提案する。
AMCNNは、単語の歴史と将来の情報を高次元表現にエンコードするために双方向長短期記憶を使用する。
ベンチマークデータセットの実験結果は、AMCNNが最先端の手法よりも優れたパフォーマンスを達成していることを示している。
論文 参考訳(メタデータ) (2020-06-29T16:37:51Z) - Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。
古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。
また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
論文 参考訳(メタデータ) (2020-02-19T11:04:49Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳(メタデータ) (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。