論文の概要: Adaptive Bi-directional Attention: Exploring Multi-Granularity
Representations for Machine Reading Comprehension
- arxiv url: http://arxiv.org/abs/2012.10877v2
- Date: Tue, 2 Feb 2021 08:42:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 08:45:32.055037
- Title: Adaptive Bi-directional Attention: Exploring Multi-Granularity
Representations for Machine Reading Comprehension
- Title（参考訳）: 適応的双方向注意:機械読取理解のための多角性表現の探索
- Authors: Nuo Chen, Fenglin Liu, Chenyu You, Peilin Zhou, Yuexian Zou
- Abstract要約: 異なるレベルのソース表現を予測器に適応的に適用するAdaptive Bidirectional Attentionと呼ばれる新しいアプローチを提案する。
結果は、2.5$%$ EMと2.3$%$ F1スコアによる以前の最新モデルよりも優れています。
- 参考スコア（独自算出の注目度）: 29.717816161964105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the attention-enhanced multi-layer encoder, such as Transformer,
has been extensively studied in Machine Reading Comprehension (MRC). To predict
the answer, it is common practice to employ a predictor to draw information
only from the final encoder layer which generates the \textit{coarse-grained}
representations of the source sequences, i.e., passage and question. Previous
studies have shown that the representation of source sequence becomes more
\textit{coarse-grained} from \textit{fine-grained} as the encoding layer
increases. It is generally believed that with the growing number of layers in
deep neural networks, the encoding process will gather relevant information for
each location increasingly, resulting in more \textit{coarse-grained}
representations, which adds the likelihood of similarity to other locations
(referring to homogeneity). Such a phenomenon will mislead the model to make
wrong judgments so as to degrade the performance. To this end, we propose a
novel approach called Adaptive Bidirectional Attention, which adaptively
exploits the source representations of different levels to the predictor.
Experimental results on the benchmark dataset, SQuAD 2.0 demonstrate the
effectiveness of our approach, and the results are better than the previous
state-of-the-art model by 2.5$\%$ EM and 2.3$\%$ F1 scores.
- Abstract（参考訳）: 近年,Transformer などの注目型多層エンコーダは,Machine Reading Comprehension (MRC) において広く研究されている。
答えを予測するには、ソースシーケンスの\textit{coarse-grained}表現を生成する最終エンコーダ層からのみ情報を描画する予測器、すなわちパッセージとクエスチョンを使用するのが一般的である。
以前の研究では、エンコーディング層が増加するにつれて、ソースシーケンスの表現は \textit{coarse-fine} からより \textit{fine-fine} となることが示されている。
ディープニューラルネットワークの層数が増加するにつれて、エンコーディングプロセスは各位置に関する関連情報を徐々に収集し、その結果、より多くの‘textit{coarse-fine'表現が生まれ、それによって他の位置と類似する可能性が高まる(同質性を参照)。
このような現象は、性能を低下させるために間違った判断を下すためにモデルを誤解させる。
そこで本研究では,異なるレベルのソース表現を適応的に予測者に活用するAdaptive Bidirectional Attentionという手法を提案する。
ベンチマークデータセットであるSQuAD 2.0の実験結果は、我々のアプローチの有効性を示し、その結果は従来の最先端モデルよりも2.5$\%$ EMと2.3$\%$ F1スコアの方が優れている。
関連論文リスト
- Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Sequence-to-Sequence Pre-training with Unified Modality Masking for
Visual Document Understanding [3.185382039518151]
GenDocは、3つのモードにわたる統一マスキングで事前訓練されたシーケンスからシーケンスまでの文書理解モデルである。
提案手法はエンコーダ・デコーダアーキテクチャを用いて,幅広い下流タスクへの適応性を向上する。
論文 参考訳（メタデータ） (2023-05-16T15:25:19Z) - CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for
Passage Retrieval [34.08763911138496]
本研究は、コンテキストマスキング自動エンコーダにマルチビューモデリングをもたらす。
このマルチビュー事前学習手法をCoT-MAE v2と呼ぶ。
論文 参考訳（メタデータ） (2023-04-05T08:00:38Z) - Improving Out-of-Distribution Generalization of Neural Rerankers with
Contextualized Late Interaction [52.63663547523033]
マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。
異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
論文 参考訳（メタデータ） (2023-02-13T18:42:17Z) - Towards Better Out-of-Distribution Generalization of Neural Algorithmic
Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。
目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文 参考訳（メタデータ） (2022-11-01T18:33:20Z) - Exploring and Exploiting Multi-Granularity Representations for Machine
Reading Comprehension [13.191437539419681]
適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。
ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。
私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
論文 参考訳（メタデータ） (2022-08-18T10:14:32Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z) - Online Deep Learning based on Auto-Encoder [4.128388784932455]
オートエンコーダ(ODLAE)に基づく2段階オンライン深層学習を提案する。
復元損失を考慮した自動エンコーダを用いて,インスタンスの階層的潜在表現を抽出する。
我々は,各隠れ層の分類結果を融合して得られる出力レベル融合戦略と,隠れ層の出力を融合させる自己保持機構を利用した特徴レベル融合戦略の2つの融合戦略を考案した。
論文 参考訳（メタデータ） (2022-01-19T02:14:57Z) - Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。
まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。
次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文 参考訳（メタデータ） (2021-12-31T10:03:47Z) - Rethinking and Improving Natural Language Generation with Layer-Wise
Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。
近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。
本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文 参考訳（メタデータ） (2020-05-16T20:00:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。