論文の概要: EfficientQA : a RoBERTa Based Phrase-Indexed Question-Answering System

• arxiv url: http://arxiv.org/abs/2101.02157v2
• Date: Sat, 30 Jan 2021 23:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 00:09:32.290231
• Title: EfficientQA : a RoBERTa Based Phrase-Indexed Question-Answering System
• Title（参考訳）: efficientqa : ロバータを基盤としたフレーズインデクシング質問応答システム
• Authors: Sofian Chaybouti, Achraf Saghe, Aymen Shabou
• Abstract要約: 本稿では,言語モデルの自然言語理解を,質問や回答候補を表す密接なベクトルに移す可能性について検討する。 提案モデルでは,Phrase-Indexed Question Answering (PIQA) における最先端結果が,精度1.3ポイント,f1スコア1.4ポイントで達成されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art extractive question answering models achieve superhuman performances on the SQuAD benchmark. Yet, they are unreasonably heavy and need expensive GPU computing to answer questions in a reasonable time. Thus, they cannot be used for real-world queries on hundreds of thousands of documents in the open-domain question answering paradigm. In this paper, we explore the possibility to transfer the natural language understanding of language models into dense vectors representing questions and answer candidates, in order to make the task of question-answering compatible with a simple nearest neighbor search task. This new model, that we call EfficientQA, takes advantage from the pair of sequences kind of input of BERT-based models to build meaningful dense representations of candidate answers. These latter are extracted from the context in a question-agnostic fashion. Our model achieves state-of-the-art results in Phrase-Indexed Question Answering (PIQA) beating the previous state-of-art by 1.3 points in exact-match and 1.4 points in f1-score. These results show that dense vectors are able to embed very rich semantic representations of sequences, although these ones were built from language models not originally trained for the use-case. Thus, in order to build more resource efficient NLP systems in the future, training language models that are better adapted to build dense representations of phrases is one of the possibilities.
• Abstract（参考訳）: 最先端の抽出質問応答モデルはSQuADベンチマーク上で超人的性能を達成する。 しかし、それらは不当に重く、妥当な時間内に質問に答えるために高価なgpuコンピューティングを必要とする。 したがって、オープンドメインの質問応答パラダイムでは、数十万のドキュメントに対する実世界のクエリには使用できない。 本稿では,言語モデルの自然言語理解を,質問や回答候補を表す密集したベクトルに伝達する可能性について検討する。 私たちがEfficientQAと呼ぶこの新しいモデルは、BERTベースのモデルの一連の入力を利用して、候補解の有意義な密度表現を構築する。 後者は、質問に依存しない方法で文脈から抽出される。 提案モデルでは,Phrase-Indexed Question Answering (PIQA) における最先端結果が,精度1.3ポイント,f1スコア1.4ポイントで達成されている。 これらの結果は、密度ベクトルがシーケンスの非常にリッチなセマンティック表現を埋め込むことができることを示しているが、これらはもともとユースケースのために訓練されていない言語モデルから構築されたものである。 したがって、将来、より資源効率の良いNLPシステムを構築するために、フレーズの密度の高い表現に適応した訓練言語モデルが可能性の1つである。

関連論文リスト

• HPE:Answering Complex Questions over Text by Hybrid Question Parsing and Execution [92.69684305578957]
  テキストQAにおける質問解析と実行の枠組みを提案する。 提案したフレームワークは、トップダウンの質問パースとして、ボトムアップの回答バックトラックとみなすことができる。 MuSiQue,2WikiQA,HotpotQA,およびNQに関する実験により,提案した解析およびハイブリッド実行フレームワークが,教師付き,少数ショット,ゼロショット設定における既存のアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-12T22:37:06Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• ListReader: Extracting List-form Answers for Opinion Questions [18.50111430378249]
  ListReaderは、リスト形式の回答のためのニューラルネットワーク抽出QAモデルである。 質問と内容のアライメントの学習に加えて,異種グラフニューラルネットワークを導入する。 提案モデルでは,スパンレベルと文レベルのいずれの回答も抽出可能な抽出設定を採用する。
  論文  参考訳（メタデータ） (2021-10-22T10:33:08Z)
• VANiLLa : Verbalized Answers in Natural Language at Large Scale [2.9098477555578333]
  このデータセットは、CSQAとSimpleQuestionsWikidataデータセットから適応された100万以上の単純な質問で構成されている。 このデータセットの回答文は、三つの事実よりも構文的に、意味的に質問に近い。
  論文  参考訳（メタデータ） (2021-05-24T16:57:54Z)
• Learning Dense Representations of Phrases at Scale [22.792942611601347]
  オープンドメインのQAにおいて、より強力なパフォーマンスを実現するための単語表現のみを学習できることを、私たちは初めて示します。 本モデルでは,従来の句検索モデルを15%～25%の絶対精度で改善する。 私たちのモデルは、純粋に密度の高い表現とCPU上で毎秒10問以上のプロセスのために、並列化が容易です。
  論文  参考訳（メタデータ） (2020-12-23T12:28:17Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval [24.77260903221371]
  SPARTAは,オープンドメイン質問応答の性能,一般化,解釈可能性を示す新しいニューラル検索手法である。 SPARTAはインバージョンインデックスとして効率的に実装可能なスパース表現を学習する。 我々は4つのオープンドメイン質問応答(OpenQA)タスクと11の検索質問応答(ReQA)タスクに対するアプローチを検証した。
  論文  参考訳（メタデータ） (2020-09-28T02:11:02Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。