論文の概要、ライセンス

# (参考訳) マルチホップ質問応答における粒度分解と粒度相互作用 [全文訳有]

Coarse-grained decomposition and fine-grained interaction for multi-hop question answering ( http://arxiv.org/abs/2101.05988v1 )

ライセンス: CC BY 4.0
Xing Cao, Yun Liu(参考訳) 質問応答と読解に関する最近の進歩は、回答が1つの連続的なテキストの通過に含まれるとき、人間のパフォーマンスを上回るモデルとなり、シングルホップ推論のみを必要とする。 しかし、実際のシナリオでは、多くの複雑なクエリはマルチホップ推論を必要とする。 質問応答タスクの鍵は文書と質問の間の意味的特徴の相互作用であり、双方向の注意フロー(bi-daf)によって広く処理されるが、bi-dafは一般に複雑な質問における単語の表面的意味のみを捉え、中間的回答の意味的特徴を暗黙的に捉えることができない。 その結果、Bi-DAFは問題に関連するコンテキストの一部を部分的に無視し、複数の文書の最も重要な部分を抽出することができない。 本稿では,(1)粗粒複合質問分解(cgde)戦略を導入して,追加アノテーションなしで複雑な質問を単純な質問に分解する(2)細粒度インタラクション(fgin)戦略を導入し,文書中の各単語をよりよく表現し,推論パスに関連するより包括的で正確な文を抽出する。 以上の2つの戦略をSQuADとHotpotQAデータセットで組み合わせ,実験した結果,本手法が最先端のベースラインより優れていることが示された。

Recent advances regarding question answering and reading comprehension have resulted in models that surpass human performance when the answer is contained in a single, continuous passage of text, requiring only single-hop reasoning. However, in actual scenarios, lots of complex queries require multi-hop reasoning. The key to the Question Answering task is semantic feature interaction between documents and questions, which is widely processed by Bi-directional Attention Flow (Bi-DAF), but Bi-DAF generally captures only the surface semantics of words in complex questions and fails to capture implied semantic feature of intermediate answers. As a result, Bi-DAF partially ignores part of the contexts related to the question and cannot extract the most important parts of multiple documents. In this paper we propose a new model architecture for multi-hop question answering, by applying two completion strategies: (1) Coarse-Grain complex question Decomposition (CGDe) strategy are introduced to decompose complex question into simple ones under the condition of without any additional annotations (2) Fine-Grained Interaction (FGIn) strategy are introduced to better represent each word in the document and extract more comprehensive and accurate sentences related to the inference path. The above two strategies are combined and tested on the SQuAD and HotpotQA datasets, and the experimental results show that our method outperforms state-of-the-art baselines.
公開日: Fri, 15 Jan 2021 06:56:34 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
COARSE-GRAINED DECOMPOSITION AND FINE-GRAINED 粗粒分解および微粒化 0.31
INTERACTION FOR MULTI-HOP QUESTION ANSWERING マルチホップ質問応答のためのインタラクション 0.40
Xing-Cao1,2, Yun-Liu1,2 Xing-Cao1,2, Yun-Liu1,2 0.34
1 School of Electronic and Information, Beijing Jiaotong University, 北京江東大学電子情報科1校 0.49
Beijing 100044, China 北京100044年中国 0.67
(18111006, liuyun) @bjtu.edu.cn (18111006,liuyun)@bj tu.edu.cn 0.73
2 Key Laboratory of Communication and Information Systems, Beijing Municipal Commission of Education, 2 北京市教育委員会通信情報システム重要な研究室 0.56
Beijing 100044, China 北京100044年中国 0.67
Abstract Recent advances regarding question answering and reading comprehension have resulted in models that surpass human performance when the answer is contained in a single, continuous passage of text, requiring only single-hop reasoning. 要約 質問応答と読解に関する最近の進歩は、回答が1つの連続的なテキストの通過に含まれるとき、人間のパフォーマンスを上回るモデルとなり、シングルホップ推論のみを必要とする。 0.74
However, in actual scenarios, lots of complex queries require multihop reasoning. しかし、実際のシナリオでは、多くの複雑なクエリはマルチホップ推論を必要とする。 0.61
The key to the Question Answering task is semantic feature interaction between documents and questions, which is widely processed by Bi-directional Attention Flow (Bi-DAF), but BiDAF generally captures only the surface semantics of words in complex questions, and fails to capture implied semantic feature of intermediate answers. 質問回答タスクの鍵となるのは文書と質問間の意味的特徴の相互作用であり、これは双方向注意フロー(Bi-DAF)によって広く処理されるが、BiDAFは一般に複雑な質問における単語の表面的意味のみを捉え、中間回答の暗黙的な意味的特徴を捉えない。 0.66
As a result, Bi-DAF partially ignores part of the contexts related to the question and cannot extract the most important parts of multiple documents. その結果、Bi-DAFは問題に関連するコンテキストの一部を部分的に無視し、複数の文書の最も重要な部分を抽出することができない。 0.68
In this paper we propose a new model architecture for multi-hop question answering, by applying two completion strategies: (1) Coarse-Grain complex question Decomposition (CGDe) strategy are introduced to decompose complex question into simple ones under the condition of without any additional annotations (2) Fine-Grained Interaction (FGIn) strategy are introduced to better represent each word in the document and extract more comprehensive and accurate sentences related to the inference path. In this paper we propose a new model architecture for multi-hop question answering, by applying two completion strategies: (1) Coarse-Grain complex question Decomposition (CGDe) strategy are introduced to decompose complex question into simple ones under the condition of without any additional annotations (2) Fine-Grained Interaction (FGIn) strategy are introduced to better represent each word in the document and extract more comprehensive and accurate sentences related to the inference path. 0.91
The above two strategies are combined and tested on the SQuAD and HotpotQA datasets, and the experimental results show that our method outperforms state-of-the-art baselines. 以上の2つの戦略をSQuADとHotpotQAデータセットで組み合わせ,実験した結果,本手法が最先端のベースラインより優れていることが示された。 0.64
1 Introduction One of the long-standing goals of natural language processing (NLP) is to build systems capable of reasoning about the information present in text. 1 導入 自然言語処理(NLP)の長年の目標の一つは、テキストに存在する情報を推論できるシステムを構築することである。 0.88
Tasks requiring reasoning include question answering (QA)[1,2], machine reading comprehension[3,4] (MRC), dialogue systems[5,6], and sentiment analysis[7]. 推論を必要とするタスクには、質問応答(QA)[1,2]、機械読解[3,4](MRC)、対話システム[5,6]、感情分析[7]がある。 0.81
Reading comprehension and question answering, which aim to answer questions about a document, have recently become a major focus of NLP research. 文書に関する質問に回答することを目的とした、理解と質問応答を読むことは、最近NLP研究の大きな焦点となっている。 0.75
Several different QA datasets have been proposed, such as the Stanford Question Answering Dataset (SQuAD) [8,9], NarrativeQA [10] and CoQA[11], and this kind of reasoning is termed single-hop reasoning, since it requires reasoning over a single piece of evidence. Stanford Question Answering Dataset (SQuAD) [8,9], NarrativeQA [10], CoQA[11]など,いくつかの異なるQAデータセットが提案されている。
訳抜け防止モード: Stanford Question Answering Dataset (SQuAD ) [ 8,9 ] など,いくつかの異なるQAデータセットが提案されている。 ナラティブQA [10 ] と CoQA[11 ] であり、この種の推論は、 単一 - 一つの証拠を推論する必要があるため、ホップ推論を行う。
0.81
Recent advances regarding QA and MRC have surpassed human performance on some single-hop datasets, but those datasets have gaps from real-world scenarioes. 最近のQAとMRCに関する進歩は、いくつかのシングルホップデータセットで人間のパフォーマンスを上回っているが、これらのデータセットは現実のシナリオと差がある。 0.48
A more challenging and real-world application task, called multi-hop reasoning [12], requires combining evidence from multiple sources, which means that evidence can be spread across multiple paragraphs. マルチホップ推論(multi-hop reasoning [12])と呼ばれる、より挑戦的で現実的なアプリケーションタスクには、複数のソースからの証拠を組み合わせる必要がある。
訳抜け防止モード: マルチホップ推論[12]という,より困難な実世界のアプリケーションタスク。 複数の情報源からの証拠を組み合わせる必要がある つまり 証拠は複数の段落に分散できる
0.83
In 0.43
英語(論文から抽出)日本語訳スコア
the process of reasoning, a subset of these paragraphs may be read first to extract the useful information from the other paragraphs, which might otherwise be understood as not completely relevant to the question. 推論の過程において,これらの段落のサブセットは,最初に他の段落から有用な情報を抽出するために読み取ることができる。
訳抜け防止モード: 推論の過程で,これらの段落のサブセットを最初に読み出して,他の段落から有用な情報を抽出することができる。 全く関係のない問題だと 理解されるかもしれません
0.70
There exist several different datasets that require multi-hop reasoning in multiple documents, such as HotpotQA [13] and WikihopQA [14]. 複数のドキュメントにマルチホップ推論を必要とするデータセットは,HotpotQA [13] や WikihopQA [14] など,いくつか存在する。 0.79
Q The rapper whose debut album was titled "Thug Misses" has sold over how many records worldwide? Q デビューアルバム『Thug Misses』を発売したラッパーは、世界中で何枚以上のレコードを売り上げたのか? 0.73
P1 'Thug Misses is the debut album by American rapper Khia. P1 "Thug Misses" (P1 'Thug Misses) は、アメリカ合衆国のラッパー、カイアのデビュー・アルバム。 0.43
', ' The album was originally released in the United States on October 30, 2001… P2 'Khia Shamone Finch (born Khia Shamone Chambers, November 8, 1970), …' To date Khia has collectively sold over 2 million records worldwide.' 「アルバムは2001年10月30日にアメリカ合衆国で発売され、P2は「キヤ・シャモネ・フィンチ(1970年11月8日生まれのキヤ・シャモネ・チェンバーズ)」であり、これまでに全世界で200万枚以上のレコードを売り上げている。」
訳抜け防止モード: 2001年10月30日 - P2' Khia Shamone Finch(Khia Shamone Chambers生まれ)が発売。 1970年(昭和45年)11月8日)、「これまでにキヤは全世界で200万枚以上のレコードを売り上げている。」
0.79
Q1 Who is the rapper whose debut album was titled ‘Thug Misses’? q1 デビューアルバム『thug misses』のラッパーは誰ですか。 0.72
Q2 How many records has that rapper sold worldwide? Q2ラッパーは世界中で何枚売れていますか。 0.60
Table 1: An example of a multi-hop question from HotpotQA. 表1: hotpotqaからのマルチホップ質問の例。 0.69
The first cell shows given complex question; at the bottom of the cell are two simple questions that have been solved. 最初の細胞は複雑な問題を示し、細胞の下部には解決された2つの単純な質問がある。 0.80
The second cell contains the supporting sentences (boldface part) needed to answer the question (support facts); the highlighted part is the final answer. 第2のセルは、質問(サポート事実)に答えるために必要なサポート文(顔部分)を含み、強調された部分は最終回答である。 0.74
As shown in Table 1, the model with strong interpretability has the ability to find supporting facts (the boldface part in P1 and P2) of the answer while the answer itself is identified. 表1に示すように、強い解釈性を持つモデルは、答え自体を識別しながら、答えの支持事実(p1とp2の太面部分)を見つけることができる。 0.75
In a sense, the supporting facts predicted task is also a demonstration of the reasoning process. ある意味では、支援事実予測タスクも推論プロセスの実証である。 0.59
Multi-hop QA faces two challenges. マルチホップQAには2つの課題がある。 0.46
The first is the difficulty of reasoning due to the complexity of the query. ひとつは、クエリの複雑さによる推論の難しさです。 0.64
For this challenge, some embedding-based models used to decompose query or generate query (Min et al , 2018[15]; Qi et al , 2019[16]) have been proposed, it is easier to find answers by breaking down complex questions into simple ones; for example, the question in Table 1 can be decomposed into two subquestions “Who is the rapper whose debut album was titled ‘Thug Misses’?” and “How many records has that rapper sold worldwide?”, but most existing work decomposes questions using a combination of rule-based algorithms, hand-crafted heuristics, and learning from supervised decompositions, each of which require significant human effort. For this challenge, some embedding-based models used to decompose query or generate query (Min et al , 2018[15]; Qi et al , 2019[16]) have been proposed, it is easier to find answers by breaking down complex questions into simple ones; for example, the question in Table 1 can be decomposed into two subquestions “Who is the rapper whose debut album was titled ‘Thug Misses’?” and “How many records has that rapper sold worldwide?”, but most existing work decomposes questions using a combination of rule-based algorithms, hand-crafted heuristics, and learning from supervised decompositions, each of which require significant human effort. 0.86
The second challenge is the interpretability of the model. 2つめの課題はモデルの解釈可能性です。 0.65
Jiang et al [17] pointed-out that models can directly locate the answer by word-matching the question with a sentence in the context, in which examples contain reasoning shortcuts. Jiang et al [17] は、モデルが質問を文脈内の文で単語マッチングすることで、直接答えを見つけることができることを指摘している。 0.71
Then, finding all the supporting facts (inference paths) is equally important for multi-hop inference tasks. そして、マルチホップ推論タスクにおいて、サポートするすべての事実(推論パス)を見つけることが同様に重要である。 0.55
To solve these two problems, the decomposition of complex queries and fine-grained feature interactions between documents and query are considered important for models based on semantic features. これら2つの問題を解決するために、意味的特徴に基づくモデルにおいて、複雑なクエリの分解と文書とクエリ間のきめ細かい特徴相互作用が重要であると考えられる。 0.67
Inspired by the existing model proposed by Min et al [15], we propose two novel completion strategies called the Coarse-Grain Decomposition (CGDe) strategy and Fine-Grained Interaction (FGIn) strategy. 我々は,Minらによって提案された既存モデルに触発されて,粗粒分解(CGDe)戦略と細粒相互作用(FGIn)戦略という2つの新しい完成戦略を提案する。 0.80
The CGDe is used to achieve better predictive capacity and explainability for question decomposition without any additional annotations, and the FGIn is used to better represent each word in the document which helps the model extract more comprehensive and accurate sentences needed to answer the question. CGDeは、追加のアノテーションを使わずに、質問分解の予測能力と説明可能性を向上させるために使用され、FGInは、質問に答えるために必要なより包括的で正確な文章を抽出するのに役立つ文書中の各単語をより良く表現するために使用される。 0.58
Different from previous works, we aims to use lightweight models instead of using off-the-shelf grammatical tools to perform grammatical processing such as named entity recognition for the construction of graph networks. 従来の研究とは違って、既製の文法ツールを使わずに軽量なモデルを用いて、グラフネットワーク構築のための名前付きエンティティ認識などの文法処理を行う。 0.68
Because any model that removes documents which are not related to なぜなら、関係のない文書を削除するあらゆるモデル 0.76
英語(論文から抽出)日本語訳スコア
queries will definitely improve the model effect, we are not committed to filtering irrelevant documents in advance, but seek to control the amount of passage information in the hidden representations directly. クエリは、モデルの効果を確実に改善します。我々は、無関係なドキュメントを事前にフィルタリングするのではなく、隠された表現の通過情報を直接制御しようとしています。 0.63
To summarize, the key contributions are three-fold: (1) The coarse-grained complex question decomposition strategy decomposes the complex queries into simple queries without any additional annotations. 1) 粗粒度の複雑な質問分解戦略は、追加のアノテーションなしで複雑なクエリを単純なクエリに分解する。
訳抜け防止モード: まとめると、 3つの重要なコントリビューション: ( 1 ) 粗い複雑な質問分解戦略は、追加のアノテーションなしで複雑なクエリを単純なクエリに分解する。
0.74
(2) The fine-grained interaction strategy is used to extract more comprehensive and accurate sentences related to the inference path (3) Our model is validated on multi-hop QA and single-hop QA datasets, and the experimental results show that the model can preserve or even surpass the original system in the objective evaluations, in addition to enhancing the interpretability of the reasoning process. 2) 推測経路に関するより包括的で正確な文を抽出するために, 3 つのモデルがマルチホップ QA およびシングルホップ QA データセット上で検証され, 実験結果から, 目的評価において, モデルが元のシステムを維持したり, 越えたりできることを示すとともに, 推論過程の解釈可能性を高めることができることが示された。 0.77
2 Related Work Single-hop Question Answering Most MRC datasets require single-hop reasoning only, which means that the evidence necessary to answer the question is concentrated in a single sentence or clustered tightly in a single paragraph. 2 関連作業シングルホップ質問回答 ほとんどのMRCデータセットは、シングルホップ推論のみを必要とするため、質問に答えるために必要な証拠は、1文に集中するか、1段落に密集している。
訳抜け防止モード: 2 関連作業単体 - ホップ質問回答 ほとんどのMRCデータセットは、ホップ推論のみを必要とする。 つまり 質問に答えるために必要な証拠は あるいは 1段落に しっかりと集結したとか。
0.75
The SQuAD [8] contains questions which are relatively simple because they are usually required no more than one sentence in a single paragraph to answer. squad [8] には、1段落で1つ以上の文が要求されないので、比較的単純な質問が含まれている。
訳抜け防止モード: SQuAD [ 8 ] には質問が含まれている。 答えるのに通常1段落に1文しか必要とされないため、比較的単純です。
0.76
SQuAD 2.0[9] introduces questions that are designed to be unanswerable. SQuAD 2.0[9]では、解決不可能な質問が紹介されている。 0.60
Bi-DAF (Seo et al , 2016) [18] and FastQA (Weissenborn et al , 2017) [19], which are popular for single-hop QA, the Query2Context and Context2Query modules in the Bi-DAF model are widely used in other QA models as core components. Bi-DAF (Seo et al , 2016) [18] と FastQA (Weissenborn et al , 2017) [19] はシングルホップQAで人気があり、Bi-DAFモデルのQuery2ContextとContext2Queryモジュールはコアコンポーネントとして他のQAモデルで広く使われている。 0.79
However, these models suffer dramatic accuracy declines in multi-hop QA task. しかし、これらのモデルはマルチホップQAタスクにおいて劇的に精度が低下する。 0.56
Multi-hop Question Answering In general, two research directions have been explored to solve the multi-hop and multi-document QA task. マルチホップ質問回答 一般に、マルチホップおよびマルチドキュメントQA課題を解決するための2つの研究方向が検討されている。 0.63
The first direction is directed to apply the previous neural networks that are successful in singlehop QA tasks to multi-hop QA tasks. 最初の方向は、シングルホップQAタスクで成功した以前のニューラルネットワークをマルチホップQAタスクに適用することを目的としている。
訳抜け防止モード: 最初の方向は シングルホップQAタスクで成功した以前のニューラルネットワークをマルチホップQAタスクに適用する。
0.69
Zhong et al (2019) [20] proposed a model combination coarsegrained reading and fine-grained reading. Zhong et al (2019) [20] は粗粒読みと細粒読みを組み合わせたモデルを提案した。 0.75
Query Focused Extractor model proposed by Nishida et al (2019) [21] regards evidence extraction as a query-focused summarization task, and reformulates the query in each hop. クエリに着目したエクストラクタモデル(2019) [21]は,エビデンス抽出をクエリ中心の要約タスクとみなし,各ホップ内のクエリを再構成する。 0.66
For complex questions, from the perspective of imitating human thinking, decomposing complex questions into simple subquestions is an effective method, Jiang and Bansel. 複雑な質問に対しては、人間の思考を模倣する観点から、複雑な質問を単純なサブクエストに分解することは効果的な方法である、jiangとbanselである。
訳抜け防止モード: 複雑な問題については、人間の思考を模倣する観点から。 複雑な質問を単純な問合せに分解する Jiang と Bansel は有効なメソッドです。
0.67
[22] proposed a model for multi-hop QA, four atomic neural modules are designed, namely Find, Relocate, Compare, NoOp, where four neural modules were dynamically assembled to make multi-hop reasoning and support fact selection more interpretable. マルチホップQAモデルを提案した[22]4つの原子ニューラルモジュール,すなわちFinder, Relocate, Compare, NoOpを設計し、4つのニューラルモジュールを動的に組み立て、マルチホップ推論を行い、事実選択をより解釈可能にする。 0.72
Concurrently to self-assembling modular networks, Min et al [15]. 自己組み立てモジュールネットワークと並行して、min et al [15]。 0.75
also addressed HotpotQA by decomposing its multi-hop questions into single-hop subquestions to achieve better performance and interpretability. さらにHotpotQAでは、マルチホップ質問をシングルホップサブクエストに分解して、パフォーマンスと解釈性の向上を実現している。 0.48
However, their system approaches question decomposition by having a decomposer model trained via human labels. しかし、そのシステムは人間のラベルで訓練されたデコンポザモデルによって問題分解にアプローチする。 0.60
A subset of approaches has introduced end-to-end frameworks explicitly designed to emulate the stepby-step reasoning process involved in multi-hop QA and MRC. アプローチのサブセットは、マルチホップQAとMRCに関わるステップバイステップの推論プロセスをエミュレートするように明示的に設計されたエンドツーエンドのフレームワークを導入している。 0.56
The Kundu et al [23] model constructs paths connecting questions and candidate answers and subsequently scores them through a neural architecture. kundu et al [23]モデルは、質問と候補回答を繋ぐ経路を構築し、その後、神経アーキテクチャを通じてそれらをスコア付けする。
訳抜け防止モード: Kundu et al [23 ] モデルは質問と候補回答を結ぶ経路を構成する その後 神経アーキテクチャを通して スコアを付けます
0.80
Jiang et al [24] also constructed a proposer used to proposes an answer from every root-toleaf path in the reasoning tree, and the Evidence Assembler extracts a key sentence containing the proposed answer from every path and combines them to predict the final answer. Jiang et al [24] はまた、推論ツリー内のすべてのルートトリーフパスからの回答を提案するために使用されるプロジェクタを構築し、Evidence Assembler は提案された回答を含むキー文を各パスから抽出し、それらを組み合わせて最終回答を予測する。 0.76
英語(論文から抽出)日本語訳スコア
The other direction is based on graph neural networks (GNNs) [25]. 別の方向はグラフニューラルネットワーク(GNN) [25] に基づいている。 0.79
GNNs have been shown to be successful on many NLP tasks, and recent papers have also examined complex QA using graph neural networks, including graph attention networks, graph recurrent networks, graph convolutional networks and their variants [26,27,28]. グラフアテンションネットワーク,グラフ再帰ネットワーク,グラフ畳み込みネットワーク,およびそれらの変種[26,27,28]など,グラフニューラルネットワークを用いた複雑なQAも検討されている。
訳抜け防止モード: GNNは多くのNLPタスクで成功したことが示されている。 最近の論文ではグラフニューラルネットワークを用いた複雑なQAも検討されている。 グラフ注意ネットワーク グラフ再帰ネットワーク グラフ畳み込みネットワーク その変種は [2627,28]
0.77
Cao et al [29] proposed a bi-directional attention mechanism that was combined with an entity graph convolutional network to obtain the relation-aware representation of nodes for entity graphs. Caoら[29]は、エンティティグラフのノードの関係認識表現を得るために、エンティティグラフ畳み込みネットワークと組み合わせた双方向の注意機構を提案した。 0.80
Qiu et al [30] used a recurrent decoder that guides a dynamic exploration of Wikipedia links among passages to build an “evidence trail” leading to passage with the answer span. qiuら[30]はリカレントデコーダを使って、wikipediaのリンクを経路間でダイナミックに探究し、回答スパンで通過する“エビデンス・トレイル”を構築する。 0.68
The multilevel graph network can represent the information in the text in more detail, so the hierarchical graph network proposed by Fang et al , 2019[31] leverages a hierarchical graph representation of the background knowledge (i.e., question, paragraphs, sentences, and entities). マルチレベルグラフネットワークは、テキスト内の情報をより詳細に表現することができるので、fangらによって提案された階層グラフネットワークは、背景知識(質問、段落、文、エンティティ)の階層グラフ表現を利用することができる。 0.79
Tu et al [32] constructed a graph connecting sentences that are part of the same document, share noun-phrases and have named entities or noun phrases in common with the question, and then applied a GNN to the graph to rank the top entity as the answer. Tu et al [32]は、同じ文書の一部である文を連結し、名詞句を共有し、その質問に共通する名前付きエンティティや名詞句を持つグラフを構築し、そのグラフにGNNを適用して、上位エンティティを答えとしてランク付けする。 0.77
However, these approaches often fail to adequately capture the inherent structure of documents and discard masses of valuable structural information when transforming documents into graphs. しかし、これらの手法は文書の固有の構造を適切に捉えず、文書をグラフに変換する際に貴重な構造情報を大量に捨てる。 0.71
Documents unrelated to the complex query may affect the accuracy of the model. 複雑なクエリとは無関係なドキュメントはモデルの精度に影響する可能性がある。 0.63
In the “select, answer, and explain” (SAE) model proposed by Tu et al [33], BERT [34] acts as the encoder in the selection module. Tu et al [33] によって提案された “select, answer, and explain” (SAE) モデルでは、BERT [34] が選択モジュールのエンコーダとして機能する。 0.86
Then a sentence extractor is applied to the output of BERT to obtain the sequential output of each sentence with precalculated sentence start and end indices, to filter out answer-unrelated documents and thus reduce the amount of distraction information. そして、BERTの出力に文抽出器を適用して、事前計算された文開始と終了の指標で各文の逐次出力を取得し、回答非関連文書をフィルタリングし、混乱情報の量を削減する。 0.70
The selected answer-related documents are then input to a model, which jointly predicts the answer and supporting sentences. 選択された回答関連文書はモデルに入力され、その回答と支援文を共同で予測する。 0.70
Concurrently to the SAE model, Bhargav et al. SAEモデルと並行して、Bhargav et al。 0.77
[35] used a two-stage BERT-based architecture to first select the supporting sentence and then used the filtered supporting sentence to predict the answer. 35]は2段階のbertベースのアーキテクチャを使用して,まずサポート文を選択し,その後にフィルタ付きサポート文を使用して回答を予測した。
訳抜け防止モード: [35 ] 2 段階 BERT ベースのアーキテクチャ 文章を)最初に選択する 答えを予測するのに フィルター付き支持文を使いました
0.71
The upstream side of Jiang et al [24] proposed model is the Document Explorer to iteratively address relevant documents. Jiang氏らが提案した[24]モデルの上流側は、関連するドキュメントを反復的に処理するDocument Explorerです。 0.69
3 Task Definition Input: Query Q (text), Q = {q1, q2…qJ} 3 タスク定義入力: Query Q (text), Q = {q1, q2...qJ} 0.88
Context C (multiple texts), C = {x1, x2…xT} Context C (複数テキスト), C = {x1, x2...xT} 0.84
Output: Answer Type AT (label), Answer String AS (text), Supporting facts (multiple texts) 出力: Answer Type AT (label), Answer String AS (text), Supporting facts (multiple texts) 0.76
Table 2: Symbol definition As shown in Table 2, context C and query Q have T words and J words respectively, where C is regarded as one connected text. 表2:シンボル定義 表2に示すように、コンテキストCとクエリQはそれぞれT語とJ語を持ち、Cは1つの連結テキストと見なされる。 0.81
Q is regarded as a complex query. q は複雑なクエリとみなされる。 0.68
It is worth noting that when C is too long (e. g., over 2550 words) and should be truncated. 注意すべき点は、Cが長すぎる場合(例:2550語以上)、切り詰めるべきである。 0.58
The multi-hop QA task is then defined as finding an answer string AS, an answer type AT and support facts for a complex query. マルチホップQAタスクは、応答文字列AS、応答型AT、および複雑なクエリのファクトをサポートするものとして定義される。 0.74
The answer type AT is selected from the answer candidates, such as ‘yes/no/span’. 回答タイプATは、‘yes/no/span’などの回答候補から選択される。 0.80
The answer string AS is a short span in context, which is determined by predicting the positions of the start token and the end token when there are not enough answer candidates to answer Q. 応答文字列ASは文脈において短いスパンであり、Qに答える答え候補が十分でない場合には、開始トークンと終了トークンの位置を予測することによって決定される。 0.76
Supporting facts consist of one more than sentences in C and is required to answer Q. 支持する事実はcの文より1つ以上あり、qに答える必要がある。 0.59
英語(論文から抽出)日本語訳スコア
4 Model 4.1 Overview Our intuition is drawn from the human reasoning process for QA, and we propose a Coarse-grain Decomposition Fine-grain interaction (CGDe-FGIn) model. 4 Model 4.1 概観 我々の直観はQAの人間の推論過程から導き, 粗粒分解微細粒相互作用(CGDe-FGIn)モデルを提案する。 0.85
The model mainly consists of context and question embedding layer, contextual embedding layer, coarse-grained decomposition layer, finegrained interaction layer, modeling layer and output layer. モデルは、主にコンテキストおよび質問埋め込み層、コンテキスト埋め込み層、粗粒度分解層、細粒度インタラクション層、モデリング層、出力層で構成される。 0.71
We discuss each part separately in the next section. 次の節では各部分を別々に議論する。 0.67
The overall model architecture is illustrated in Fig 1. 全体的なモデルアーキテクチャを図1に示します。 0.82
Start token Linear Linear 開始トークン 直線 直線 0.66
Yes/No/Span Yes/No/Span 0.39
Linear End token 直線 エンドトークン 0.62
Residual Concat Word embedding 残留コンキャット 単語埋め込み 0.54
Char embedding Bi-GRU チャー埋め込み ビグル 0.43
Output layer Modeling layer 出力層 モデリング層 0.79
Fine-grained interaction layer きめ細かい相互作用層 0.79
Coarse-grained Decomposition layer Contextual Embedding Layer 粗粒分解層 コンテキスト埋め込み層 0.69
Word/Char Embedding Layer Word/Char埋め込み層 0.68
Self-attention (ContextTContext) 自己注意(ContextTContext) 0.77
ContextTQuarry ContextTQuarry 0.85
Fine-grained QuarryTContext 微粒なQuarryTContext 0.61
Coarse-grained decomposition supporting facts? 粗粒分解 事実を裏付ける? 0.69
Context Question Figure 1: Overview of the CGDe-FGIn architecture 文脈 質問 図1:CGDe-FGInアーキテクチャの概要 0.71
4.2 Context and Question Embedding Layer We use a pre-trained word embedding model and a char embedding model to lay the foundation for CGDe-FGIn model. 4.2 文脈と質問埋め込みレイヤ 事前学習した単語埋め込みモデルとシャル埋め込みモデルを用いてCGDe-FGInモデルの基礎となる。 0.79
Let {x1, x2…xT} and {q1, q2…qJ} represent the words in the input multi context paragraphs and complex query, respectively. x1, x2...xT} と {q1, q2...qJ} はそれぞれ入力マルチコンテキスト段落と複素クエリの単語を表す。 0.75
Following Yang et al 2018[13] we use pre-trained word vectors in the form of GloVe (Pennington et al , 2014[36]) to obtain the fixed word embedding of each word, and we obtain the character level embedding of each word using convolutional neural networks (CNNs). Yang et al 2018[13]に続いて、GloVe(Pennington et al , 2014[36])という形式で事前訓練された単語ベクトルを用いて各単語の固定語埋め込みを取得し、畳み込みニューラルネットワーク(CNN)を用いて各単語の文字レベル埋め込みを得る。 0.73
The concatenation of the character and word embedding vectors is passed to a two-layer highway network (Srivastava et al , 2015[37]). 文字と単語の埋め込みベクトルの結合は2層道路網(Srivastava et al , 2015[37])に渡される。 0.72
The outputs of the highway network are two sequences of d dimensional vectors, or more conveniently, two matrices 高速道路網の出力は、d次元ベクトルの2つの配列、またはより便利な2つの行列である 0.72
X∈ℝ𝑇𝑇×𝑑𝑑 for the context and Q∈ℝ𝐽𝐽×𝑑𝑑 for the query. コンテクストはX・RTT×dd、クエリはQ・RJJ×dd。 0.57
where T and J are the numbers of words in T と J が語数である場合 0.56
英語(論文から抽出)日本語訳スコア
multiple documents and queries respectively, and d is the dimension after fusion of the word embedding and character level embedding. 複数の文書とクエリそれぞれ、dは単語埋め込みと文字レベルの埋め込みの融合後の次元である。 0.73
4.3 Contextual Embedding Layer We use bi-directional recurrent neural networks with gated recurrent units (GRUs) (Cho et al , 2014[38]) to encode the contextual information present in the query and multiple context paragraphs separately. 4.3 コンテキスト埋め込みレイヤ ゲートリカレントユニット(GRU)を備えた双方向リカレントニューラルネットワーク(Cho et al , 2014[38])を用いて、クエリに存在するコンテキスト情報を別々に符号化する。 0.69
The outputs of the query and document encoders are U∈ℝ𝐽𝐽×2𝑑𝑑 and H∈ℝ𝑇𝑇×2𝑑𝑑, respectively. クエリとドキュメントエンコーダの出力は、それぞれuhtmlrjj×2ddとhhtmlrtt×2ddである。 0.66
Here, 2d denotes the output dimension of the encoders. ここでは 2dはエンコーダの出力次元を表す。 0.74
Note that each column vector of H and U has dimension 2d because of the concatenation of the outputs of the forward and backward GRUs, each with ddimensional output. H と U の各列ベクトルが次元 2d を持つのは、それぞれが d 次元の出力を持つ前向き GRU と後向き GRU の出力の連結性のためである。 0.79
4.4 Coarse-grained Decomposition Layer Coarse-grained Decomposition layer is responsible for decomposing complex questions and generating new question high-dimensional vectors. 4.4 粗粒状分解層 粗粒状分解層は複雑な質問を分解し、新しい質問高次元ベクトルを生成する。 0.70
Similarity matrix computatione First, a semantic similarity matrix is calculated for question(U) and multiple documents (H)as described 類似度行列計算 まず、質問(U)と複数の文書(H)について意味的類似度行列を算出する。 0.75
t-th context word and j-th query word. t-th コンテキストワードと j-th クエリワード。 0.59
The similarity matrix is computed by: 類似度行列は次のように計算される。 0.56
by Yang et al [13]. Yangらによる[13]。 0.60
Semantic similarity matrix S∈ℝ𝑇𝑇×𝐽𝐽, where Stj indicates the similarity between the h= linear(H) , h∈ℝ𝑇𝑇×1 (1) u= permute(linear(U)), u∈ℝ1×𝐽𝐽 (2) α(H , U)= 𝑈𝑈⊤𝐻𝐻 , α(H , U)∈ℝ𝑇𝑇×𝐽𝐽 (3) Stj =[ h+u+ α(H , U) ], Stj∈ℝ𝑇𝑇×𝐽𝐽 (4) where linear indicates a linear layer, permute represents vectors dimension transformation operations, ⊤ Stj は h=線型(H) , h⋅RTT×1 (1) u= permute(linear(U)), u∂R1×JJ (2) α(H , U)= UU\HH , α(H , U)∂RTT×JJ (3) Stj =[ h+u+ α(H , U) ], Stj は線型層を表すが、permute は線型層を表す。
訳抜け防止モード: 意味的類似性行列 sftprtt×jj, ここで stj は h=線型(h) 間の類似性を示す。 hhtmlrtt×1 (1 ) u = permute(linear(u ) ), uhtmlr1×jj (2 ) α(h, u)= uu,hh, α(h, u)ftprtt×jj (3 ) stj = [ h+u+ α(h, u) u ) ], stjhtmlrtt×jj (4 ) ここで線形は線形層を表す。 permute (複数形 permutes)
0.84
indicates matrix transpose. Inspired by human hop-by-hop reasoning behavior, the meaning of complex questions decomposition is to make the high-dimensional vector distribution of entity nouns or pronouns more inclined to the intermediate answer to the question. 行列変換を示す。 人間のホップ・バイ・ホップ推論行動にインスパイアされた複雑な質問分解の意味は、エンティティ名詞や代名詞の高次元ベクトル分布を、質問の中間回答に傾倒させることである。 0.63
For example, "The rapper whose debut album was titled "Thug Misses" has sold over how many records worldwide?”, this relatively complex question can be decomposed into two subquestions, “Who is the rapper whose debut album was titled ‘Thug Misses’?” and “How many records has that rapper sold worldwide?”. 例えば、"thug misses"というタイトルでデビューアルバムを発売したラッパーは、世界中で何枚以上のレコードを販売しているのか?"という質問は、この比較的複雑な質問は、"who is the rapper who whose debut album was title ‘thug misses’?"と"how many records has that rapper sold worldwide? 0.87
Therefore, the answer to the first subquestion is crucial to answering the second question. したがって、第1審問の答えは第2審問の答えに不可欠である。 0.80
In answering complex questions, high-dimensional vectors for nouns such as "The Rapper" are expected to be more similar to intermediate answers required to answer the complex questions, such as "by America Rapper Khia." 複雑な質問に答える際、"The Rapper"のような名詞の高次元ベクトルは、"by America Rapper Khia"のような複雑な質問に答えるのに必要な中間的な答えとよりよく似ていると期待されている。 0.73
This is a disguised decomposition of a complex query. これは複雑なクエリの偽りの分解である。 0.80
To understand this point better, we transpose the Stj matrix to obtain 𝑆𝑆̃𝑗𝑗𝑗𝑗. この点をよりよく理解するために、ssj 行列を変換して ssjjjjj を得る。 0.59
As shown in Fig 2, the attention aj: = softmax (𝑆𝑆̃𝑗𝑗:), aj: ∈ℝ𝑇𝑇 (5) 𝑄𝑄� =𝐻𝐻⊤a, 𝑄𝑄� ∈ℝ𝐽𝐽×2𝑑𝑑 (6) fig 2 に示されているように、注意は aj: = softmax (ssjj:), aj: ∈rtt (5) qq =hhsa, qq ∈rjj×2dd (6) である。 0.81
weight is computed by and query vector is computed by 重量は 問合せベクトルは 0.35
英語(論文から抽出)日本語訳スコア
the original information of the query, we fuse two vectors to obtain a new query representation. クエリの元の情報は、2つのベクトルを融合して新しいクエリ表現を得る。 0.64
The representation is computed by Hence 𝑄𝑄� is a J-by-2d matrix containing the attended context vectors for the entire query. 表現は計算される したがって、QQはクエリ全体に対するコンテクストベクトルを含むJ-by-2d行列である。 0.71
To preserve 𝑄𝑄�=β(U; 𝑄𝑄�), 𝑄𝑄�∈ℝ𝐽𝐽×2𝑑𝑑 (7) β(U;𝑄𝑄�) = W(S)[ U; 𝑄𝑄�; U°𝑄𝑄�] (8) where W(S)∈ℝ6𝑑𝑑 is a trainable weight vector, ° represents elementwise multiplication, [;] represents We obtain 𝑄𝑄� , which is the integration of the original query and decomposed query, repeat the similarity QQ = β(U; QQ ) QQ ∈ RJJ×2dd (7) β(U; QQ ) = W(S)[ U; QQ ; U°QQ ] (8) ここで W(S)⋅R6dd はトレーニング可能な重みベクトルであり、 ° は要素的に乗算を表し、 [;] は元のクエリと分解クエリの統合である QQ を得る。 0.79
vector concatenation across row, and implicit multiplication consists of matrix multiplication. 行間のベクトル連結と暗黙の乗法は行列の乗法からなる。 0.66
matrix calculation, and then apply it to the subsequent model. 行列計算を行い、それを次のモデルに適用する。 0.75
The overall architecture is shown in Fig 3. 全体的なアーキテクチャは図3に示されています。 0.65
<t> Exiting Arm stylized (<t>Exiting Arm スタイル化 0.75
... Americian rapper ... アメリカンラッパー 0.53
khia The album ... キヤ アルバム ... 0.59
produced <t> 生産する; 生産する; 生産する 0.30
The rapper whose debut album was titled “ Thug Misses ”has sold over how many records worldwide ? デビューアルバム『Thug Misses 』を発売したラッパーは、世界中で何枚のレコードを売り上げたのか? 0.74
Softmax . . ソフトマックス . . 0.78
. Softmax Figure 2: Similarity matrix softmax according to the query direction . ソフトマックス 図2:クエリ方向に応じた類似度行列ソフトマックス 0.76
d T J Similarity matrix compute d T J 類似度行列計算 0.84
T J Softmax T J ソフトマックス 0.78
T d U d J d T d U d J d 0.85
~ Q _β Q Similarity matrix compute ~Q _β Q 類似度行列計算 0.81
ContextTQuarry ContextTQuarry 0.85
fine-grained QuarryTContext きめ細かいQuarryTContext 0.60
Figure3: Overview architecture of the Coarse-grained Decomposition layer 図3:粗粒化層の概要アーキテクチャ 0.73
英語(論文から抽出)日本語訳スコア
ℎ�=∑𝑏𝑏𝑗𝑗 This vector indicates the weighted sum of the most important words in the context with respect to the ℎ�=∑𝑏𝑏𝑗𝑗 このベクトルは、文脈における最も重要な単語の重み付き和を表す。 0.59
4.5 Fine-grained Interaction Layer In the work of (Seo et al , 2017[18]), the Query2Context model component obtains the attention weights 4.5 query2contextモデルコンポーネントは、(seo et al , 2017[18])作業における細粒度の相互作用層を取得する。 0.80
on the context words by b = softmax(maxcol(S)) ∈ ℝ𝑇𝑇 , where the maximum function (maxcol) is b = softmax(maxcol(S)) ∈ RTT , ここでの最大関数 (maxcol) は
訳抜け防止モード: b = softmax(maxcol(s ) ) ∈ rtt による文脈語について 最大関数 (maxcol ) は
0.73
performed across the column. 列の向こう側で実行された 0.55
Then, the attended context vector is 次に、参加者のコンテキストベクトルは 0.76
𝑗𝑗𝐻𝐻:𝑗𝑗, ℎ�∈ℝ2𝑑𝑑 (9) query. jjH:jj, h ∈R2dd (9) クエリ。 0.78
Here, ℎ� is tiled T times across the column, thus giving 𝐻𝐻�∈ℝ𝑇𝑇×2𝑑𝑑 , as shown in Fig 4. ここで、h はカラム全体で T 回タイル化され、図 4 に示すように HH ∈RTT×2dd を与える。 0.66
The vanilla Query2Context module has two main deficiencies. vanilla Query2Contextモジュールには2つの主要な欠陥がある。 0.61
First, the maximum function (max col) is performed across the column, and words that are consistent with the context in the question have a higher weight, such as the words "rapper" and "whose" in Fig 5. まず、最大関数 (max col) が列全体にわたって実行され、質問の文脈と一致した単語は、図5の「ラッパー」や「誰が」のように、より高い重みを持つ。 0.73
As a result, constituting middle answer words needed to answer complex questions, are easy to ignore, therefore, the original Query2Context model not perform well in supporting facts predicted task. その結果、複雑な質問に答えるために必要な中間応答語を構成することは無視しやすいため、元のquery2contextモデルは、予測タスクをサポートするのにうまく機能しない。 0.66
Second, since the size of the vector output of the vanilla Query2Context module is (batch size, 1, 2d), it needs to be repeated T times to obtain the vector of the same size as the input document, to meet the requirements of the vector size of subsequent model input. 第2に、vanilla query2contextモジュールのベクター出力のサイズは(バッチサイズ,1,2d)であるので、その後のモデル入力のベクターサイズ要件を満たすために、入力ドキュメントと同じ大きさのベクターを取得するためにt回繰り返す必要がある。 0.73
However, T times of repeated operations also result in the same high-dimensional vectors characteristics for each word in the contextual embedding of the context. しかし、繰り返し操作のT時間もまた、コンテキストのコンテキスト埋め込みにおいて、各単語に対して同じ高次元ベクトル特性をもたらす。 0.77
The output layer of the model classifies the word vector characteristics of each word in the context to evaluate the starting and ending positions of the answer; such output of the vanilla Query2Context is clearly not favorable to the subsequent model. モデルの出力層は、コンテキスト内の各単語の単語ベクトル特性を分類し、応答の開始位置と終了位置を評価する。
訳抜け防止モード: モデルの出力層は、文脈における各単語の単語ベクトル特性を分類する。 答えの始まりと終わりの位置を評価する vanilla Query2Contextのそのような出力は、明らかにその後のモデルには好ましくない。
0.86
We introduce a method, as shown in Fig 6 to solve these problems. 図6に示すように、これらの問題を解決する方法を導入する。 0.75
Instead of max pooling, softmax is used for each column of the attention matrix, and then the document vector is dotted with each column weight. 最大プーリングの代わりに、注意行列の各列にソフトマックスを使用し、文書ベクトルを各列の重みで点定する。 0.68
The model obtains J vector matrices of size (T, 2d), where J is the number of words in the question, and where each matrix indicates the correlation between all words in the context and the モデルはサイズ(t, 2d)のjベクトル行列を得る。jは質問中の単語の数であり、各行列は文脈中のすべての単語とその単語の間の相関を示す。 0.77
corresponding word in the complex question. 複雑な質問の対応する単語です 0.70
The similarity matrix 𝑆𝑆̅ between the contextual embeddings of the context (H) and the new query (𝑄𝑄�) is computed by: 𝑞𝑞�= permute (linear (𝑄𝑄�)), 𝑞𝑞�∈ℝ1×𝐽𝐽 (10) 𝑆𝑆̅tj = [ h+𝑞𝑞�+ α (H, 𝑄𝑄�)], 𝑆𝑆̅tj∈ℝ𝑇𝑇×𝐽𝐽 (11) the attention weight 𝑎𝑎� is computed by: 𝑎𝑎�: j =softmax (𝑆𝑆̅: j), 𝑎𝑎�:j∈ℝ𝑇𝑇 (12) The fine-grained Query2Context representation 𝑈𝑈� is computed by: :𝑗𝑗°𝐻𝐻 , 𝑈𝑈� ∈ℝ𝑇𝑇×2𝑑𝑑 (13) The similarity matrix 𝑆𝑆̅ between the contextual embeddings of the context (H) and the new query (𝑄𝑄�) is computed by: 𝑞𝑞�= permute (linear (𝑄𝑄�)), 𝑞𝑞�∈ℝ1×𝐽𝐽 (10) 𝑆𝑆̅tj = [ h+𝑞𝑞�+ α (H, 𝑄𝑄�)], 𝑆𝑆̅tj∈ℝ𝑇𝑇×𝐽𝐽 (11) the attention weight 𝑎𝑎� is computed by: 𝑎𝑎�: j =softmax (𝑆𝑆̅: j), 𝑎𝑎�:j∈ℝ𝑇𝑇 (12) The fine-grained Query2Context representation 𝑈𝑈� is computed by: :𝑗𝑗°𝐻𝐻 , 𝑈𝑈� ∈ℝ𝑇𝑇×2𝑑𝑑 (13) 0.96
𝑈𝑈�=∑𝑎𝑎�𝑗𝑗 𝑈𝑈�=∑𝑎𝑎�𝑗𝑗 0.59
J Max T x a m t f o S J マックス T x a m t f o S 0.82
T d . . . Repeat T times T d . . . 繰り返し T 回 0.83
. . . Figure 4: Vanilla Query2Context . . . 図4:Vanilla Query2Context 0.84
英語(論文から抽出)日本語訳スコア
T J x a m t f o S T J x a m t f o S 0.85
Figure 5: Heatmap of the semantic similarity matrix 図5:意味的類似性行列のヒートマップ 0.81
d T J The Context2Query attention signifies which query words are most relevant to each context word, which is computed by: d T J Context2Query attentionは、どのクエリワードがそれぞれのコンテキストワードに最も関連があるかを示す。 0.82
Figure 6: Fine-grained interaction 図6:きめ細かい相互作用 0.90
Finally, the contextual embeddings and the feature vectors computed by the fine-grained interaction layer are combined together to yield G: 最後に、細粒度相互作用層によって計算されるコンテキスト埋め込みと特徴ベクトルを結合してgを得る。 0.73
(15) (15) 0.85
𝑎𝑎�𝑗𝑗= softmax (𝑆𝑆̅𝑗𝑗:), 𝑎𝑎�𝑗𝑗∈ℝ𝐽𝐽 (14) 𝑈𝑈�:𝑗𝑗=∑𝑎𝑎�𝑗𝑗𝑗𝑗𝑈𝑈:𝐽𝐽 𝑗𝑗 𝐺𝐺:𝑗𝑗 = 𝛽𝛽� (H:t , 𝑼𝑼�:𝑗𝑗, 𝑼𝑼�:𝑗𝑗) (16) 𝛽𝛽� (h , 𝑢𝑢�, 𝑢𝑢�)= [ h; 𝑢𝑢�; h°𝑢𝑢�; 𝑢𝑢�°𝑢𝑢�] (17) 𝑎𝑎�𝑗𝑗= softmax (𝑆𝑆̅𝑗𝑗:), 𝑎𝑎�𝑗𝑗∈ℝ𝐽𝐽 (14) 𝑈𝑈�:𝑗𝑗=∑𝑎𝑎�𝑗𝑗𝑗𝑗𝑈𝑈:𝐽𝐽 𝑗𝑗 𝐺𝐺:𝑗𝑗 = 𝛽𝛽� (H:t , 𝑼𝑼�:𝑗𝑗, 𝑼𝑼�:𝑗𝑗) (16) 𝛽𝛽� (h , 𝑢𝑢�, 𝑢𝑢�)= [ h; 𝑢𝑢�; h°𝑢𝑢�; 𝑢𝑢�°𝑢𝑢�] (17) 0.95
4.6 Modeling Layer The output G of the fine-grained QueryTcontext layer is taken as input to the modeling layer, which encodes the query-aware representations of context words. 4.6 モデリング層 きめ細かいQueryTcontext層の出力Gをモデリング層への入力とし、コンテキストワードのクエリ対応表現をエンコードする。 0.70
We use one layers of the bi-directional GRU to capture the interaction among the context words conditioned on the query. 我々は、双方向GRUの1つの層を用いて、クエリ上で条件付けられたコンテキストワード間の相互作用をキャプチャする。 0.62
Since multiple documents contain thousands of words, the long-distance dependency problem is obvious, so a self-attention module is added to alleviate this problem. 複数の文書には数千の単語が含まれているため、長距離依存問題は明らかであり、この問題を軽減するために自己認識モジュールが追加される。 0.61
Similar to the baseline model, we use the original Bi-DAF function to implement self-attention, in which the input is changed from (query, context) to (context, context). ベースラインモデルと同様に、入力を(クエリ、コンテキスト)から(コンテキスト、コンテキスト)に変更する自己アテンションを実装するためにオリジナルのBi-DAF関数を使用します。 0.65
4.7 Prediction Layer We follow the same structure of prediction layers as (Yang et al , 2018[13]). 4.7 予測層 予測層の構造は(yang et al , 2018[13])と同じである。 0.76
To solve the degradation problem of the deep neural network, residual connections are made between the output of the fine-grained ディープニューラルネットワークの劣化問題を解決するために、細粒度の出力間で残差接続が行われる 0.77
英語(論文から抽出)日本語訳スコア
QueryTcontext layer and the output of the modeling layer, which is the input to the prediction layer. QueryTcontextレイヤと、予測レイヤへの入力であるモデリングレイヤの出力。 0.45
Within the prediction layer, four isomorphic Bi-GRUs are stacked layer by layer, and we adopt a cascade structure to solve the output dependency problem and avoid information loss. 予測層内では、4つの同型Bi-GRUが層状に積層され、出力依存性の問題を解くためにカスケード構造を採用し、情報損失を回避する。 0.73
The prediction layer has four output dimensions: 1. supporting sentences, 2. the start position of the answer, 3. the end position of the answer, and 4. the answer type. 予測層は4つの出力次元を有し、1つの支持文、2つの回答の開始位置、3つの回答の終了位置、4つの回答タイプである。 0.71
Depending on the type, different architectures are chosen. タイプによって異なるアーキテクチャが選択される。 0.75
In this work, we investigate all of the above prediction types. 本研究では,上記の予測型をすべて検討する。 0.73
We define the training loss (to be minimized) as: トレーニング損失(最小化)を次のように定義します。 0.74
Ltype= CEsum( 𝑦𝑦�𝑗𝑗𝑦𝑦𝑦𝑦𝑦𝑦,𝑦𝑦𝑗𝑗𝑦𝑦𝑦𝑦𝑦𝑦 ) Lsup= CEaverage ( 𝑦𝑦�𝑠𝑠𝑠𝑠𝑦𝑦,𝑦𝑦𝑠𝑠𝑠𝑠𝑦𝑦) Lstart=CEsum ( 𝑦𝑦�𝑠𝑠𝑗𝑗𝑠𝑠𝑠𝑠𝑗𝑗,𝑦𝑦𝑠𝑠𝑗𝑗𝑠𝑠𝑠𝑠𝑗𝑗 ) Lend=CEsum ( 𝑦𝑦�𝑦𝑦𝑒𝑒𝑑𝑑,𝑦𝑦𝑦𝑦𝑒𝑒𝑑𝑑 ) Ltype= CEsum( yy jjyyyyy,yyjyyyyyy) Lsup= CEaverage ( yy sssyy,yysssyy) Lstart=CEsum ( yy ssjjsssjj,yysjjssssj j ) Lend=CEsum ( yy yyedd,yyyeddd ) 0.85
L=𝝀𝝀𝒂𝒂(Ltype +Lstart +Lend) + 𝝀𝝀𝒔𝒔Lsup L=λλaa(Ltype +Lstart +Lend) + λλssLsup 0.62
We jointly optimize these four cross entropy losses, and each loss term is weighted by a coefficient これら4つの交叉エントロピー損失を共同で最適化し,各損失項を係数で重み付けする。 0.74
5 Experiments 5.1 Datasets Two publicly available QA datasets are employed to test the performance of the proposed model. 5 実験 5.1 データセット 2 つの公開QAデータセットを使用して、提案モデルの性能をテストする。 0.71
HotpotQA is a recently introduced multi-hop RC dataset encompassing Wikipedia articles, and there are two types of questions—bridge and comparison. HotpotQAは、Wikipediaの記事を含む最近導入されたマルチホップRCデータセットで、ブリッジと比較という2つのタイプがある。 0.63
We evaluate our model on development sets in the distractor setting, following prior work. 我々は,事前作業に追従した開発セットの気晴らし設定におけるモデルを評価する。 0.70
For the full wiki setting where all Wikipedia articles are given as input, we consider the bottleneck to be about information retrieval, thus we do not include the full wiki setting in our experiments. すべてのウィキペディア記事が入力として提供される完全なウィキ設定では、ボトルネックは情報検索であると考えており、実験に完全なウィキ設定を含まない。 0.72
SQuAD 1.1 contains 100K crowdsourced questions and answers paired with short Wikipedia passages. SQuAD 1.1には100万のクラウドソースの質問と、短いウィキペディアの節と組み合わせた回答が含まれている。 0.42
The typical length of the paragraphs is approximately 250 and the question is 10 tokens although there are exceptionally long cases. 記事の典型的長さは約250で、疑問は10のトークンであるが、例外的に長いケースがある。 0.73
The SQuAD dataset is mainly used to verify the validity and universality of the model components we propose, namely coarse-grained decomposition strategy and fine-grained interaction strategy. SQuADデータセットは主に、我々が提案するモデルコンポーネント、すなわち粗粒度分解戦略ときめ細かい相互作用戦略の妥当性と普遍性を検証するために使用される。 0.76
For both HotpotQA and SQuAD 1.1, only the training and validation data are publicly available, while the test data are hidden. HotpotQAとSQuAD 1.1では、トレーニングデータと検証データのみが公開され、テストデータは隠されている。 0.78
For further analysis, we report only the performance on the validation set, as we do not want to probe the unseen test set by frequent submissions. さらに分析するために、頻繁に提出される未確認テストセットを調査したくないので、検証セットのパフォーマンスのみを報告します。 0.69
According to the observations from our experiments and previous works, the validation score is well correlated with the test score. 実験結果と過去の研究結果によると,検証スコアはテストスコアとよく相関している。 0.64
5.2 Implementation Details We keep the baseline (Bi-DAF) parameter settings on the two data sets to prove that our model components and model architecture have absolute performance advantages over the baseline. 5.2 実装の詳細 ベースライン(Bi-DAF)パラメータ設定を2つのデータセットに保持し、モデルコンポーネントとモデルアーキテクチャがベースラインに対して絶対的なパフォーマンス上の利点があることを証明する。 0.75
For the HotpotQA dataset, we use the standard 300-dimensional pre-trained GloVe (trained from 840B web crawled data points) as word embeddings. HotpotQAデータセットでは,標準的な300次元事前学習GloVe(Webクローリングデータポイント840Bから学習)を単語埋め込みとして使用する。 0.70
The dimensions of hidden states in BiGRU are set as d = 80. bigru における隠れ状態の次元は d = 80 に設定される。 0.68
Using the Adam optimizer, with a minibatch size of 32 and an initial learning rate of 0.01, an early adamオプティマイザを使用して,ミニバッチサイズ32と初期学習率0.01を早期に設定した。 0.77
stopping strategy is adopted, with patience=1, and 𝝀𝝀𝒂𝒂 =0.5, 𝝀𝝀𝒔𝒔 =2.0. 停止戦略は忍耐=1、λλaa =0.5、λλss =2.0で採用される。 0.57
The training process takes トレーニングのプロセスは 0.78
approximately 8 hours on two 2080 ti GPUs. 2つの2080 Ti GPUで約8時間。 0.87
For the SQuAD dataset, we also use the standard 300-dimensional pre-trained GloVe as word embeddings. SQuADデータセットには、300次元事前学習GloVeをワード埋め込みとして使用する。 0.68
The hidden state size d = 100, using the the AdaDelta optimizer, with a minibatch size of 32 and an initial learning rate of 0.5. adadeltaオプティマイザを使用した隠れた状態サイズd = 100は、最小バッチサイズ32、初期学習レート0.5である。 0.70
A dropout (Srivastava et al , 2014[39]) rate of 0.2 is used for the CNN and LSTM layers, and the linear transformation before the softmax for the answers. Srivastava et al , 2014[39]) のドロップアウト率は CNN および LSTM 層で, 解のソフトマックス前の線形変換では 0.2 である。 0.67
During training, 訓練中。 0.58
英語(論文から抽出)日本語訳スコア
the moving averages of all weights of the model are maintained with an exponential decay rate of 0.999. モデルの全重量の移動平均は指数的減衰率0.999で維持される。 0.75
The training process takes approximately 6 hours on a single 2080 ti GPU. トレーニングプロセスは、1つの2080 Ti GPUで約6時間かかる。 0.83
5.3 Main Results Model Comparison We compare the results with those of two types of baseline model. 5.3 主な結果モデルの比較 結果と2種類のベースラインモデルの比較。 0.78
One is the model with Bi-DAF as the core component. ひとつは、Bi-DAFをコアコンポーネントとするモデルです。 0.73
Questions and documents are not processed by off-the-shelf language tools, but only contextual embedding is performed. 質問や文書は既製の言語ツールでは処理されないが、コンテキスト埋め込みのみ実行される。 0.69
This type of models is dedicated mainly to the feature interaction between questions and documents. このタイプのモデルは、主に質問と文書間の機能相互作用に特化している。 0.74
The advantages of these models are fewer model parameters, short training time, and low GPU computing power requirements. これらのモデルの利点は、モデルパラメータの削減、短いトレーニング時間、低GPUコンピューティングパワー要件である。 0.80
The other is the reasoning model based on a graph neural network. もう1つは、グラフニューラルネットワークに基づく推論モデルである。 0.77
This type of model usually uses a language model or tool for named entity recognition to construct an entity graph, and then a graph convolutional neural network is used to update the node representation on the entity graph. この種のモデルは通常、名前付きエンティティ認識のための言語モデルやツールを使用してエンティティグラフを構築し、次にグラフ畳み込みニューラルネットワークを使用してエンティティグラフのノード表現を更新する。 0.85
The output layer uses a classifier to determine whether the entity is the correct answer. 出力層は分類器を使用して、エンティティが正しい答えかどうかを決定する。 0.75
The effect of this type of model is generally higher than that of the first type of model, and it has relatively high interpretability. この種のモデルの効果は、一般的に第一タイプのモデルよりも高く、比較的高い解釈性を持つ。 0.73
However, the premise assumes that the answers to complex questions are entities, and they are all in the constructed graph network. しかし、この前提は、複雑な質問に対する答えはエンティティであり、それらはすべて構築されたグラフネットワークにあると仮定する。 0.66
These models also need to use tools to extract entities from multiple documents, which increases the training time and heightens GPU requirements. これらのモデルはまた、複数のドキュメントからエンティティを抽出するためのツールを使用する必要がある。 0.59
Model Baseline NMN KGNN モデル ベースラインnmn kgnn 0.65
45.60 49.58 45.60 49.58 0.50
F1 40.16 - F1 40.16 - 0.75
Answer Sup Fact Joint EM EM 10.83 - 答 sup fact em 10.83 - 0.60
F1 20.32 59.02 62.71 - 50.81 65.75 50.89±0.13 65.41±0.18 39.47±0.46 F1 20.32 59.02 62.71 - 50.81 65.75 50.89±0.13 65.41±0.18 39.47±0.46 0.32
38.74 76.69 22.40 38.74 76.69 22.40 0.47
64.49 - 64.49 - 0.71
EM F1 52.82 79.83±0.14 EM F1 52.82 79.83±0.14 0.65
Our Model 23.08±0.39 54.51±0.29 Table 3: The performance of our CGDe-FGIn model and competing approaches by Yang et al , and Ye et al , Jiang et al on the HotpotQA dataset. 私たちのモデル 23.08±0.39 54.51±0.29 Table 3: CGDe-FGInモデルのパフォーマンスと、Yang et al と Ye et al による競合するアプローチ。 0.72
The performance of mul-hop QA on HotpotQA is evaluated by using the exact match (EM) and F1 as two evaluation metrics. The performance of mul-hop QA on HotpotQA by using the exact Match (EM) and F1 as two evaluation metrics。 0.79
To assess the explainability of the models, the datasets further introduce two sets of database metrics involving the supporting facts. モデルの説明可能性を評価するために、データセットはさらに、サポート事実を含む2つのデータベースメトリクスセットを導入する。 0.65
The first set focuses on evaluating the supporting facts directly, namely EM and F1 on the set of supporting fact sentences compared to the gold set. 第1セットは、ゴールドセットと比較して、支持事実文の集合、すなわちemとf1を直接評価することに焦点を当てている。 0.65
The second set features joint metrics that combine the evaluation of answer spans and supporting facts. 第2のセットは、回答スパンの評価と事実のサポートを組み合わせたジョイントメトリクスを備えている。 0.63
All metrics are evaluated example-by-example, and then averaged over examples in the evaluation set. すべてのメトリクスは例によって評価され、評価セットの例よりも平均される。 0.66
We compare our approach with several previously published models, and present our results in Table 3. これまでのいくつかのモデルと比較し,その結果を表3に示す。 0.68
All experiments are performed for each of our models, and the table shows the mean and standard deviation. 実験はすべてモデルごとに行われ、表は平均偏差と標準偏差を示しています。 0.76
As shown in the table, all the results of our proposed model are superior to those of the baseline model in the case that the model parameters are not increased substantially. 表に示すように、提案モデルのすべての結果は、モデルパラメータが実質的に増加しない場合に、ベースラインモデルよりも優れている。 0.74
4.4 Ablations Studies In this paper, we design two strategies for multi-hop Question Answering. 4.4 アブレーション研究 本稿では,マルチホップ質問応答のための2つの戦略を設計する。 0.70
To study the contributions of these two strategies to the performance of our model, we conduct an ablation experiment by removing coarse-grained decomposition strategy or fine-grained interaction strategy on the SQuAD1.1 and HotpotQA datasets. これらの2つの戦略がモデルの性能に与える影響を検討するため、SQuAD1.1データセットとHotpotQAデータセットの粗粒度分解戦略やきめ細かい相互作用戦略を除去してアブレーション実験を行う。 0.72
英語(論文から抽出)日本語訳スコア
Model Baseline Our Model モデル モデルベースライン 0.64
CGDe FGIn Answer Sup Fact Joint EM EM 10.83 CGDe FGIN 答 sup fact joint em em 10.83 0.69
F1 59.02 20.32 F1 59.02 20.32 0.52
F1 EM 45.60 F1 EM 45.60 0.74
64.49 F1 40.16 64.49 F1 40.16 0.65
50.89±0.13 65.41±0.18 39.47±0.46 79.83±0.14 23.08±0.39 54.51±0.29 50.55±0.22 65.27±0.11 38.79±0.28 79.26±0.14 22.48±0.29 53.87±0.15 50.07±0.64 64.61±0.33 40.55±0.42 80.55±0.18 22.94±0.21 54.12±0.33 50.89±0.13 65.41±0.18 39.47±0.46 79.83±0.14 23.08±0.39 54.51±0.29 50.55±0.22 65.27±0.11 38.79±0.28 79.26±0.14 22.48±0.29 53.87±0.15 50.07±0.64 64.61±0.33 40.55±0.42 80.55±0.18 22.94±0.21 54.12±0.33 0.18
Table 4: Ablation results on the HotpotQA dev set. 表4: HotpotQA開発セットのアブレーション結果。 0.68
Model Baseline Model モデル ベースラインモデル 0.77
EM F1 75.51 76.93 75.96 77.06 Table 5: Ablation results on the SQuAD dev set. EM F1 75.51 76.93 75.96 77.06 Table 5: SQuAD開発セットのアブレーション結果。 0.76
64.56 66.32 65.25 66.44 64.56 66.32 65.25 66.44 0.45
FGIn CGDe CGDe / FGQTC FGIn CGDe CGDe/FGQTC 0.84
As shown in Tables 4 and 5, removing either the CGDe or the FGIn strategy reduces the effectiveness of the model, which demonstrates that both strategies contribute to our model. 表4および5に示すように、CGDe戦略またはFGIn戦略のどちらかを削除することで、モデルの有効性が低下し、両方の戦略がモデルに寄与することを示す。
訳抜け防止モード: 表4と5に示す。 CGDe または FGIn 戦略のどちらかを削除する モデルの有効性を低下させ、両方の戦略がモデルに寄与することを示す。
0.82
Moreover, using either strategy individually enables our model to achieve better results than the baseline model. さらに、どちらの戦略も個別に使用することで、ベースラインモデルよりも優れた結果が得られる。 0.65
Analysis and Visualization In this section, we conduct a series of visual analyses with different settings using our approach. 分析と可視化 この節では、アプローチを用いて異なる設定で一連の視覚的分析を行う。 0.80
Coarse-grained decomposition The coarse-grain decomposition module uses the similarity matrix of the query and the document to be multiplied by the document representation to obtain a new query representation (J, 2d). 粗粒度分解 粗粒度分解モジュールは、クエリの類似度行列と文書を文書表現に乗じて新しいクエリ表現(J,2d)を得る。
訳抜け防止モード: 粗い - 粒度の分解 粗い - 粒度の分解モジュールは、クエリとドキュメントの類似性マトリックスを使用し、ドキュメント表現に乗じる。 新しいクエリ表現(J, 2d )を得る。
0.68
After merging with the original query representation, the new query representation should have higher semantic similarity with the document's corresponding words, for example, the phrase " The rapper " and the word "Khia" in the complex question "The rapper whose debut album was titled ‘Thug Misses’ has sold over how many records worldwide? 例えば "the rapper" というフレーズと "khia" という単語は,複雑な質問 "the rapper who debut album was named 'thug misses' という題で,世界中のレコード数で販売されている。
訳抜け防止モード: 元のクエリ表現とマージした後、新しいクエリ表現はドキュメントの対応する単語とよりセマンティックな類似性を持つべきである。 例えば、複雑な質問 "The rapper" と "Khia" というフレーズ "'Thug Misses ' と題されたデビューアルバムのラッパーは、世界中で何枚のレコードを売り上げたのか?
0.81
". Q1 Who is the rapper whose debut album was titled ‘Thug Misses’? ". q1 デビューアルバム『thug misses』のラッパーは誰ですか。 0.64
Support fact one:Thug Misses is the debut album by American rapper Khia. トゥグ・ミスズ』(Thug Misses)は、アメリカ合衆国のラッパー、カイアのデビュー・アルバム。 0.49
Q2 How many records has that rapper sold worldwide? Q2ラッパーは世界中で何枚売れていますか。 0.60
Support fact two:To date Khia has collectively sold over 2 million records worldwide. Khiaはこれまでに全世界で200万件以上のレコードを売り上げている。 0.53
Table 6: Subquestion and Supporting facts As the subquestion and supporting facts shown in Table 6, we hope that the phrase "The rapper" and the word "Khia" have more similar expressions, so that complex queries become simple one-hop queries: " The rapper (Khia) whose debut album was titled ‘Thug Misses’has sold over how many records worldwide ". 表6: "the rapper" と "khia" というフレーズは、より類似した表現を持ち、複雑なクエリが単純なワンホップクエリになることを期待している: "the rapper (khia) は、'thug misses' というタイトルのデビューアルバムが、世界中のレコード数で販売されている。
訳抜け防止モード: 表6 : 質問・支援事実 我々は、"The rapper"と"Khia"という言葉がより類似した表現を持つことを願っている。 ですから,複雑なクエリがシンプルなものになるのです – ホップクエリ: "デビューアルバムのタイトルが‘Thug Misses’だったラッパー(Khia)は,世界中で何レコードを売り上げていますか?
0.78
To confirm our idea, we use the baseline trained model and our model to process the validation set and generate the heat map of the attention matrix (the darker the color in the figure, the higher is the similarity weight), respectively. 提案手法を検証するために,ベースライントレーニングモデルとモデルを用いて検証セットを処理し,アテンション行列のヒートマップを生成する(図中の色が暗くなればなるほど,それぞれが類似度重みとなる)。 0.71
英語(論文から抽出)日本語訳スコア
In the baseline model's heat map, the attention weights of the phrase "The rapper" and the word "Khia" are not high, it is worth noting that this is caused by the similarity of the parts of speech between the two phrases, the part of speech of "rapper" is a noun, while the part of speech of "Khia" is a person's name, resulting in a slightly higher correlation between the two phrases. ベースラインモデルのヒートマップでは、"The rapper" と "Khia" の単語の注意重みは高くないが、これは、"rapper" は名詞であり、"Khia" は人名であるのに対し、"rapper" は名詞であり、この2つのフレーズの間には若干高い相関関係が生じることに注意する必要がある。
訳抜け防止モード: ベースラインモデルのヒートマップでは、"The rapper"というフレーズの注意重みがある。 そして "Khia" という単語は高くないが、これは2つの句の間の音声の部分の類似性によって引き起こされたものであることに注意する必要がある。 ラッパー」の語源は名詞である 一方、「Khia」の語源は人名である。 2つのフレーズの間には 若干高い相関関係があります
0.78
Different from the baseline model, the heat map of our model shows that the semantic similarity of the phrase "The rapper" and the word "Khia" is significantly higher than that of other surrounding words. ベースラインモデルと異なり,本モデルのヒートマップは,「ラッパー」と「カイア」という単語の意味的類似性が,他の周囲の単語よりも有意に高いことを示している。
訳抜け防止モード: ベースラインモデルと異なり、我々のモデルのヒートマップは、"The rapper"というフレーズのセマンティックな類似性を示している。 そして "Khia" という単語は他の周囲の単語よりもかなり高い。
0.82
This shows that the new question contains the subanswers that appear in the text to a certain extent, so that the multi-hop query is decomposed into a simple single-hop query. これは、新しい質問がテキストにある程度現れるサブアンスワーを含んでいることを示しているので、マルチホップクエリは単純なシングルホップクエリに分解される。 0.70
Figure 7: Attention heat map of the baseline model 図7:ベースラインモデルの注意熱マップ 0.71
Figure 8: Attention heat map of our model 図8:私たちのモデルの注意熱マップ 0.91
In the ablation study, it can be easily found that the coarse-grained decomposition module improves the EM and F1 of the answer in evaluation metrics; compared with the fine-grained interaction model, Sup Facts's EM and F1 have lower improvement. アブレーション研究において, 粗粒分解モジュールは, 評価指標における回答のem, f1を改善し, 細粒度相互作用モデルと比較すると, sup factsのem, f1は改善率が低いことがわかった。 0.79
This shows that the model's ability to predict support facts is limited, because the new question generated contains the intermediate answer required for the first subquestion, so the support context that answers the first question may not be predicted as a supporting fact. これは、モデルが生成した新しい質問は、第一のサブクエストに必要な中間の回答を含んでいるため、第一の質問に答えるサポートコンテキストは、サポートの事実として予測できないため、サポートの事実を予測する能力は限られていることを示している。
訳抜け防止モード: これは、モデルがサポート事実を予測する能力が制限されていることを示している。 新しい質問は 第一審問に必要な 中間回答を含んでいるからです 最初の質問に答えるサポートコンテキストは 支援事実として予測されないかもしれません
0.69
英語(論文から抽出)日本語訳スコア
Fine-grained interaction As shown in Table 4, the fine-grained interaction strategy performs well on the supporting facts task, which further proves that the strategy can model more appropriate semantic features represented by a high-dimensional vector for individual words in multiple documents. 表4に示すように、きめ細かい相互作用戦略は、複数の文書における個々の単語の高次元ベクトルで表されるより適切な意味的特徴をモデル化できることを示す。 0.71
To make this more intuitive, we visually present the instances in HotpotQA datasets. これをより直感的にするために、HotpotQAデータセットにインスタンスを視覚的に提示する。 0.57
According to the previous section, the complex query in Table 1 requires two supporting fact sentences, “Thug Misses is the debut album by American rapper Khia.” and “To date Khia has collectively sold over 2 million records worldwide.” Fig. 前節によると、Table 1の複雑なクエリには、”Thug Misses is the debut album by American rapper Khia”と“今日までKhiaは全世界で200万枚以上のレコードを売り上げている”という2つの事実文が必要だ。 0.78
9, (a) and (b) subgraph show heatmaps of the semantic similarity matrix of the baseline model (BiDAF), showing the part of the complex query corresponding to the supporting fact sentence. 9, (a) および (b) サブグラフは, ベースラインモデル (BiDAF) の意味的類似性行列のヒートマップを示し, 支持事実文に対応する複雑なクエリの部分を示す。 0.83
Similarly, subfigures (c) and (d) show the same part of our model with the fine-grained interaction strategy. 同様に、サブフィギュア (c) と (d) は、きめ細かい相互作用戦略でモデルの同じ部分を示す。 0.77
Compared with the baseline model, the supporting fact sentences in our model have a higher weight in multiple documents. ベースラインモデルと比較すると,提案モデルにおけるファクト文の重み付けは複数の文書において高い。 0.81
6 Conclusion and Future Work In this paper, we propose a mutli-hop question answering model, that contains a coarse-grained decomposition strategy to divide a complex query into multiple single-hop simple queries and a fine- 6結論と今後の課題として,複雑なクエリを複数の単一ホップ単純なクエリと細かなクエリに分割するための粗粒度分解戦略を含むメタリホップ質問応答モデルを提案する。 0.76
(c) Figure 9: Attention heat map with the FGIn (c)図9:FGInによる注意熱マップ 0.74
(d) (a) (b) (d) (a) (b) 0.85
英語(論文から抽出)日本語訳スコア
grained interaction strategy to better represent each word in the document and help the model find the sentences needed to answer the question. ドキュメント内の各単語をよりよく表現し、モデルが質問に答えるために必要な文を見つける手助けをする、きめ細かいインタラクション戦略。
訳抜け防止モード: ドキュメントの各単語をよりよく表現するための粒度の相互作用戦略 モデルが質問に答えるために必要な文を見つけるのに役立ちます
0.77
In the experiments, we show that our models significantly and consistently outperform the baseline model. 実験では,我々のモデルがベースラインモデルよりも大きく,一貫して優れていることを示す。 0.72
In the future, we think that the following issues would be worth studying: In Fine-grained interaction layer, assigning different weights to J context representations corresponding to each word in a complex query instead of adding them together can further improve our model. きめ細かい相互作用層では、複雑なクエリで各単語に対応するJコンテキスト表現に異なる重みを割り当てることによって、モデルをさらに改善できます。
訳抜け防止モード: 将来的には 次の問題は研究する価値があるでしょう : きめ細かい相互作用層において、複雑なクエリではなく、各単語に対応するJコンテキスト表現に異なる重みを割り当てる。 それらを追加して モデルをさらに改善できます
0.73
We plan to explore how to measure the importance of each word in the query at different stages of reasoning. 我々は,クエリにおける各単語の重要性を,推論の異なる段階で測定する方法を検討する。 0.80
Acknowledgments This research was funded by the Fundamental Research Funds for the Central Universities (Grant number 2020YJS012). この研究は中央大学の基礎研究資金(補助金番号2020yjs012)によって資金提供された。 0.76
References [1] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. 参照: [1] Danqi Chen、Adam Fisch、Jason Weston、Antoine Bordes。 0.71
2017. Reading wikipedia to answer open domain questions. 2017. オープンドメインの質問に答えるためにwikipediaを読む。 0.77
In ACL. [2] Xiong C, Zhong V, Socher R. Dynamic coattention networks for question answering[J]. ACL。 [2] Xiong C, Zhong V, Socher R. 質問応答のための動的被覆ネットワーク[J] 0.69
arXiv preprint arXiv:1611.01604, 2016. arXiv preprint arXiv:1611.01604, 2016 0.80
[3] Cui Y, Chen Z, Wei S, et al. [3] cui y, chen z, wei s, et al。 0.53
Attention-over-Atten tion Neural Networks for Reading Comprehension[C]//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 第55回計算言語学会年次大会(第1巻:長文論文)読解のための注意過剰ニューラルネットワーク 0.52
2017: 593-602. 2017: 593-602. 0.84
[4] Huang H Y, Zhu C, Shen Y, et al Fusionnet: Fusing via fully-aware attention with application to machine comprehension[J]. [4] Huang H Y, Zhu C, Shen Y, et al Fusionnet: 完全に認識された注意と機械理解への応用による融合[J]。 0.88
arXiv preprint arXiv:1711.07341, 2017. arXiv preprint arXiv:1711.07341, 2017 0.79
[5] Huang M, Zhu X, Gao J. [5]Huang M, Zhu X, Gao J。 0.73
Challenges in building intelligent open-domain dialog systems[J]. インテリジェントなオープンドメインダイアログシステムの構築 [J]。 0.67
ACM Transactions on Information Systems (TOIS), 2020, 38(3): 1-32. ACM Transactions on Information Systems (TOIS) 2020, 38(3): 1-32。 0.78
[6] Chen H, Liu X, Yin D, et al A survey on dialogue systems: Recent advances and new frontiers[J]. [6]Chen H, Liu X, Yin D, et al 対話システムに関する調査:最近の進歩と新たなフロンティア[J] 0.77
Acm Sigkdd Explorations Newsletter, 2017, 19(2): 25-35. Acm Sigkdd Explorations Newsletter, 2017, 19(2): 25-35。 0.93
[7] Liu N, Shen B. ReMemNN: A novel memory neural network for powerful interaction in aspect-based sentiment analysis[J]. [7] Liu N, Shen B. ReMemNN: アスペクトベースの感情分析における強力なインタラクションのための新しいメモリニューラルネットワーク[J]。 0.83
Neurocomputing, 2020. 神経科学、2020年。 0.61
[8] Rajpurkar, P.; Zhang, J.; Lopyrev, K.; and Liang, P. 2016. [8]Rajpurkar, P., Zhang, J., Lopyrev, K., Liang, P. 2016 0.70
Squad: 100,000+ questions for machine comprehension of text. Squad: 機械によるテキスト理解のための10万以上の質問。 0.59
In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 2383–2392. 2016年の自然言語処理における経験的手法に関する会議の議事録2383-2392。 0.65
[9] Rajpurkar P, Jia R, Liang P. Know What You Don’t Know: Unanswerable Questions for SQuAD[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 9]Rajpurkar P, Jia R, Liang P. Know You Don’t Know: Unanswerable Questions for SQuAD[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) 0.79
2018: 784-789. 2018: 784-789. 0.84
[10] Koˇcisk`y, T.; Schwarz, J.; Blunsom, P.; Dyer, C.; Hermann, K. M.; Melis, G.; and Grefenstette, E. 2018. [10]Ko'cisk`y, T., Schwarz, J., Blunsom, P., Dyer, C., Hermann, K. M., Melis, G., Grefenstette, E. 2018。 0.82
The narrativeqa reading comprehension challenge. 物語を読むことの難しさ。 0.55
Transactions of the Association of Computational Linguistics 6:317–328. 計算言語学協会の取引6:317-328。 0.65
[11] Reddy, S.; Chen, D.; and Manning, C. D. 2019. 11]Reddy, S.; Chen, D.; and Manning, C.D. 2019。 0.80
Coqa: A conversational question answering challenge. Coqa: 会話による質問応答の課題です。 0.74
Transactions of the Association for Computational Linguistics 7:249–266. 計算言語学会(Association for Computational Linguistics 7:249–266)の略。 0.51
[12] Lin X V, Socher R, Xiong C. Multi-hop knowledge graph reasoning with reward shaping[J]. [12]Lin X V, Socher R, Xiong C.Multi-hop knowledge graph reasoning with reward shaping[J]。 0.86
arXiv preprint arXiv:1808.10568, 2018. arXiv preprint arXiv:1808.10568, 2018 0.79
[13] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and [13]Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and 0.84
英語(論文から抽出)日本語訳スコア
Christopher D Manning. クリストファー・d・マニング 0.43
2018. Hotpotqa: A dataset for diverse, explainable multi-hop question answering. 2018. Hotpotqa: 多様なマルチホップ質問応答のためのデータセット。 0.82
In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 2369–2380. 2018年のProceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, page 2369–2380。 0.78
[14] Welbl J, Stenetorp P, Riedel S. Constructing datasets for multi-hop reading comprehension across documents[J]. [14] Welbl J, Stenetorp P, Riedel S. Constructing datasets for multi-hop reading comprehension across document[J]。 0.86
Transactions of the Association for Computational Linguistics, 2018, 6: 287-302. transactions of the association for computational linguistics, 2018, 6: 287-302 (英語) 0.79
[15] Sewon Min, Victor Zhong, Luke Zettlemoyer, and Hannaneh Hajishirzi. [15]Sewon Min、Victor Zhong、Luke Zettlemoyer、Hannaneh Hajishirzi。 0.65
2019b. Multi-hop reading comprehension through question decomposition and rescoring. 2019年。 質問の分解と再現によるマルチホップ読解 0.66
In ACL. [16] Qi P, Lin X, Mehr L, et al Answering complex open-domain questions through iterative query generation[J]. ACL。 [16] Qi P, Lin X, Mehr L, et al Answering complex open- domain questions through repeaterative query generation[J]。 0.69
arXiv preprint arXiv:1910.07000, 2019. arXiv preprint arXiv:1910.07000, 2019 0.81
[17] Jiang Y, Bansal M. Avoiding reasoning shortcuts: Adversarial evaluation, training, and model development for multi-hop QA[J]. 関連スポンサーコンテンツ [17] jiang y, bansal m. avoid reasoning shortcuts: adversarial evaluation, training, and model development for multi-hop qa[j]。 0.75
arXiv preprint arXiv:1906.07132, 2019. arXiv preprint arXiv:1906.07132, 2019 0.81
[18] Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, and Hannaneh Hajishirzi. [18]ミンジュン・セオ、Aniruddha Kembhavi、Ali Farhadi、Hannaneh Hajishirzi。 0.61
2017. Bidirectional attention flow for machine comprehension. 2017. 機械理解のための双方向注意流 0.82
In Proceedings of the International Conference on Learning Representations. International Conference on Learning Representations に参加して 0.67
[19] Weissenborn D, Wiese G, Seiffe L. Fastqa: A simple and efficient neural architecture for question answering[J]. [19] Weissenborn D, Wiese G, Seiffe L. Fastqa: 質問応答のためのシンプルで効率的なニューラルネットワーク。 0.72
arXiv preprint arXiv:1703.04816, 2017. arXiv preprint arXiv:1703.04816, 2017 0.79
[20] Victor Zhong, Caiming Xiong, Nitish Shirish Keskar, and Richard Socher. Victor Zhong、Caiming Xiong、Nitish Shirish Keskar、Richard Socher。 0.54
2019. Coarse-grain finegrain coattention network for multi-evidence question answering. 2019. マルチエビデンス質問応答のための粗粒微細粒塗布網 0.71
In ICLR. [21] Nishida K, Nishida K, Nagata M, et al Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. ICLR。 [21]西田K,西田K,永田M,等が要約しながら回答する: 証明抽出によるマルチホップQAのためのマルチタスク学習 [C]//計算言語学会第57回大会の報告 0.60
2019: 2335-2345. 2019: 2335-2345. 0.84
[22] Jiang Y, Bansal M. Self-Assembling Modular Networks for Interpretable Multi-Hop Reasoning[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP). [22]Jiang Y,Bansal M. Self-Assembling Modular Networks for Interpretable Multi-Hop Reasoning[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP)。 0.88
2019: 4464-4474. 2019: 4464-4474. 0.84
[23] Kundu S, Khot T, Sabharwal A, et al. 23] kundu s, khot t, sabharwal a, et al. 0.59
Exploiting Explicit Paths for Multi-hop Reading Comprehension[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 計算言語学会第57回年次大会「マルチホップ読解 [C]//Proceeds for the Multi-hop Reading Comprehension」の実施 0.74
2019: 2737-2747. 2019: 2737-2747. 0.84
[24] Jiang Y, Joshi N, Chen Y C, et al Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. [24]Jiang Y, Joshi N, Chen Y C, et al Explore, Propose, and Assemble: An Interpretable Model for Multi-Hop Reading Comprehension[C]//Proceeds of the57th Annual Meeting of the Association for Computational Linguistics。 0.84
2019: 2714-2725. 2019: 2714-2725. 0.84
[25] Xu K, Hu W, Leskovec J, et al. [25]Xu K, Hu W, Leskovec J, その他。 0.64
How powerful are graph neural networks?[J]. グラフニューラルネットワークはどの程度強力か? 0.51
arXiv preprint arXiv:1810.00826, 2018. arXiv preprint arXiv:1810.00826, 2018 0.79
[26] Veličković P, Cucurull G, Casanova A, et al. 26] veličković p, cucurull g, casanova a, et al。 0.59
Graph attention networks[J]. グラフアテンションネットワーク[J]。 0.60
arXiv preprint arXiv:1710.10903, 2017. arXiv preprint arXiv:1710.10903, 2017 0.80
[27] Hajiramezanali E, Hasanzadeh A, Narayanan K, et al. 27] hajiramezanali e, hasanzadeh a, narayanan k, et al。 0.54
Variational graph recurrent neural networks[C]//Advances in neural information processing systems. ニューラル情報処理システムにおける変動グラフリカレントニューラルネットワーク[c]//advances 0.77
2019: 10701-10711. 2019: 10701-10711. 0.84
[28] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. [28]Kipf T N, Welling M. グラフ畳み込みネットワークを用いた半教師付き分類[J] 0.81
arXiv preprint arXiv:1609.02907, 2016. arXiv preprint arXiv:1609.02907, 2016 0.80
[29] Cao Y, Fang M, Tao D. BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). [29] Cao Y, Fang M, Tao D. BAG: 双方向注意 Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering[C]//Proceedings of the North American Conference of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) 0.79
2019: 357-362. 2019: 357-362. 0.84
英語(論文から抽出)日本語訳スコア
J, Socher R, Manning C D. Glove: Global vectors J, Socher R, Manning C D. Glove: 地球ベクトル 0.85
[30] Qiu L, Xiao Y, Qu Y, et al. 30] qiu l, xiao y, qu y, et al。 0.62
Dynamically fused graph network for multi-hop reasoning[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. マルチホップ推論のための動的融合グラフネットワーク [C]//計算言語学会第57回年次大会報告 0.60
2019: 6140-6150. 2019: 6140-6150. 0.84
[31] Y. Fang, S. Sun, Z. Gan, R. Pillai, S. Wang, and J. Liu. [31] Y. Fang, S. Sun, Z. Gan, R. Pillai, S. Wang, J. Liu 0.95
Hierarchical graph network for multi-hop question answering. マルチホップ質問応答のための階層グラフネットワーク 0.77
arXiv preprint arXiv:1911.03631, 2019. arXiv preprint arXiv:1911.03631, 2019 0.81
[32] Tu M, Wang G, Huang J, et al Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. [32]Tu M, Wang G, Huang J, et al Multi-hop Reading Comprehension across multiple Documents by Reasoning over Heterogeneous Graphs[C]//Proceeds of the57th Annual Meeting of the Association for Computational Linguistics。 0.88
2019: 2704-2713. 2019: 2704-2713. 0.84
[33] Tu M, Huang K, Wang G, et al Select, Answer and Explain: Interpretable Multi-Hop Reading Comprehension over Multiple Documents[C]//AAAI. [33] Tu M, Huang K, Wang G, et al Select, Answer and Explain: Interpretable Multi-Hop Reading Comprehension over Multiple Documents[C]//AAAI。 0.87
2020: 9073-9080. 2020: 9073-9080. 0.84
[34] Devlin J, Chang M W, Lee K, et al Bert: Pre-training of deep bidirectional transformers for language understanding[J]. [34] Devlin J, Chang M W, Lee K, et al Bert: 言語理解のための双方向トランスフォーマーの事前トレーニング[J]。 0.80
arXiv preprint arXiv:1810.04805, 2018. arXiv preprint arXiv:1810.04805, 2018 0.79
[35] Bhargav G P S, Glass M, Garg D, et al Translucent Answer Predictions in Multi-Hop Reading Comprehension[C]//Proceedings of the AAAI Conference on Artificial Intelligence. [35]Bhargav G P S, Glass M, Garg D, et al Translucent Answer Predictions in Multi-Hop Reading Comprehension[C]//Proceeds of the AAAI Conference on Artificial Intelligence。 0.85
2020, 34(05): 77007707. 2020, 34(05): 77007707. 0.85
[36] Pennington for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP). [36]Pennington for word representation[C]//Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)。 0.79
2014: 1532-1543. 2014: 1532-1543. 0.84
[37] Srivastava R K, Greff K, Schmidhuber J. [37] Srivastava R K, Greff K, Schmidhuber J。 0.78
Highway networks[J]. arXiv preprint arXiv:1505.00387, 2015. 高速道路網[j]。 arXiv preprint arXiv:1505.00387, 2015 0.71
[38] Chung J, Gulcehre C, Cho K H, et al Empirical evaluation of gated recurrent neural networks on sequence modeling[J]. [38] chung j, gulcehre c, cho k h, et al シーケンスモデリングにおけるゲートリカレントニューラルネットワークの実験的評価 [j] 0.74
arXiv preprint arXiv:1412.3555, 2014. arXiv preprint arXiv:1412.3555, 2014 0.81
[39] Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, and Ruslan Salakhutdinov. Nitish Srivastava氏、Geoffrey E. Hinton氏、Alex Krizhevsky氏、Ilya Sutskever氏、Ruslan Salakhutdinov氏。 0.67
Dropout: a simple way to prevent neural networks from overfitting. dropout: ニューラルネットワークの過剰フィットを防ぐシンプルな方法。 0.73
JMLR, 2014. 2014年、JMLR。 0.70
                                   ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。