論文の概要: Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2208.08750v1
• Date: Thu, 18 Aug 2022 10:14:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 13:05:50.641630
• Title: Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension
• Title（参考訳）: 機械読取理解のための多粒度表現の探索と展開
• Authors: Nuo Chen, Chenyu You
• Abstract要約: 適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
• 参考スコア（独自算出の注目度）: 13.191437539419681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the attention-enhanced multi-layer encoder, such as Transformer, has been extensively studied in Machine Reading Comprehension (MRC). To predict the answer, it is common practice to employ a predictor to draw information only from the final encoder layer which generates the coarse-grained representations of the source sequences, i.e., passage and question. The analysis shows that the representation of source sequence becomes more coarse-grained from finegrained as the encoding layer increases. It is generally believed that with the growing number of layers in deep neural networks, the encoding process will gather relevant information for each location increasingly, resulting in more coarse-grained representations, which adds the likelihood of similarity to other locations (referring to homogeneity). Such phenomenon will mislead the model to make wrong judgement and degrade the performance. In this paper, we argue that it would be better if the predictor could exploit representations of different granularity from the encoder, providing different views of the source sequences, such that the expressive power of the model could be fully utilized. To this end, we propose a novel approach called Adaptive Bidirectional Attention-Capsule Network (ABA-Net), which adaptively exploits the source representations of different levels to the predictor. Furthermore, due to the better representations are at the core for boosting MRC performance, the capsule network and self-attention module are carefully designed as the building blocks of our encoders, which provides the capability to explore the local and global representations, respectively. Experimental results on three benchmark datasets, i.e., SQuAD 1.0, SQuAD 2.0 and COQA, demonstrate the effectiveness of our approach. In particular, we set the new state-of-the-art performance on the SQuAD 1.0 dataset
• Abstract（参考訳）: 近年,Transformer などの注目型多層エンコーダは,Machine Reading Comprehension (MRC) において広く研究されている。 回答を予測するためには、ソースシーケンスの粗い粒度の表現を生成する最終エンコーダ層からのみ情報を引き出すための予測器を用いるのが一般的である。 解析の結果,符号化層が増大するにつれて,ソースシーケンスの表現が細粒度から粗粒度になることがわかった。 ディープニューラルネットワークの層数が増加するにつれて、エンコーディングプロセスは各位置に関する関連情報を徐々に収集し、より粗い粒度の表現となり、他の位置と類似する可能性(同質性を参照)が高まると一般的に信じられている。 このような現象は、間違った判断とパフォーマンスの低下をモデルに誤解させます。 本稿では、予測者がエンコーダから異なる粒度の表現を活用し、モデルの表現力を完全に活用できるように、ソースシーケンスの異なるビューを提供することができればよいと論じる。 そこで本研究では,様々なレベルの音源表現を予測器に適応的に利用する適応型双方向注意カプセルネットワーク(aba-net)を提案する。 さらに, MRCの性能向上のコアとして, カプセルネットワークと自己保持モジュールをエンコーダのビルディングブロックとして慎重に設計し, ローカルおよびグローバルな表現を探索する機能を提供している。 SQuAD 1.0、SQuAD 2.0、COQAの3つのベンチマークデータセットの実験結果が、我々のアプローチの有効性を実証している。 特に、SQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。

関連論文リスト

• Interpretable Spectral Variational AutoEncoder (ISVAE) for time series clustering [48.0650332513417]
  可変オートエンコーダ(VAE)の出力にフィルタバンク(FB)の解釈可能なボトルネックを組み込んだ新しいモデルを導入する。 このアレンジメントは、入力信号の最も情報性の高いセグメントに参加するためにVAEを補完する。 VAEをこのFBに故意に拘束することにより、識別可能で分離可能で次元が縮小した符号化の開発を促進する。
  論文  参考訳（メタデータ） (2023-10-18T13:06:05Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
  生成的視点から深層離散表現を学習する。 我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。 WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
  論文  参考訳（メタデータ） (2023-02-12T13:51:36Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Effective and Interpretable Information Aggregation with Capacity Networks [3.4012007729454807]
  キャパシティネットワークは、意味論的意味のある空間に集約できる複数の解釈可能な中間結果を生成する。 この単純な帰納バイアスを実装することで、異なるエンコーダ・デコーダアーキテクチャの改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-07-25T09:45:16Z)
• Online Deep Learning based on Auto-Encoder [4.128388784932455]
  オートエンコーダ(ODLAE)に基づく2段階オンライン深層学習を提案する。 復元損失を考慮した自動エンコーダを用いて,インスタンスの階層的潜在表現を抽出する。 我々は,各隠れ層の分類結果を融合して得られる出力レベル融合戦略と,隠れ層の出力を融合させる自己保持機構を利用した特徴レベル融合戦略の2つの融合戦略を考案した。
  論文  参考訳（メタデータ） (2022-01-19T02:14:57Z)
• MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs [55.66953093401889]
  Masked Graph Autoencoder (MGAE) フレームワークは、グラフ構造データの効果的な学習を行う。 自己指導型学習から洞察を得て、私たちはランダムに大量のエッジを隠蔽し、トレーニング中に欠落したエッジを再構築しようとします。
  論文  参考訳（メタデータ） (2022-01-07T16:48:07Z)
• Adaptive Bi-directional Attention: Exploring Multi-Granularity Representations for Machine Reading Comprehension [29.717816161964105]
  異なるレベルのソース表現を予測器に適応的に適用するAdaptive Bidirectional Attentionと呼ばれる新しいアプローチを提案する。 結果は、2.5$%$ EMと2.3$%$ F1スコアによる以前の最新モデルよりも優れています。
  論文  参考訳（メタデータ） (2020-12-20T09:31:35Z)
• Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference [55.35176938713946]
  我々は、ガンマ分布の階層構造を用いて、その多確率層生成ネットワークを構築するディープ・オートエンコーディング・トピック・モデル(DATM)を開発した。 Weibull上向き変分エンコーダを提案する。このエンコーダは深層ニューラルネットワークを介して情報を上向きに伝播し,次いで下向き生成モデルを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。
  論文  参考訳（メタデータ） (2020-06-15T22:22:56Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。