論文の概要: General-Purpose Question-Answering with Macaw

• arxiv url: http://arxiv.org/abs/2109.02593v1
• Date: Mon, 6 Sep 2021 16:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 19:09:27.946681
• Title: General-Purpose Question-Answering with Macaw
• Title（参考訳）: macawを用いた汎用質問応答
• Authors: Oyvind Tafjord and Peter Clark
• Abstract要約: 我々は、コミュニティで利用できる多種多様なQAシステムであるMacawを紹介します。 MacawはUnifiedQA上に構築されており、T5上に構築されている。 システムを記述し、トレーニング設定外において驚くほど優れた回答を得られる様々な質問タイプについて説明する。
• 参考スコア（独自算出の注目度）: 22.92015294152184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the successes of pretrained language models, there are still few high-quality, general-purpose QA systems that are freely available. In response, we present Macaw, a versatile, generative question-answering (QA) system that we are making available to the community. Macaw is built on UnifiedQA, itself built on T5, and exhibits strong performance, zero-shot, on a wide variety of topics, including outperforming GPT-3 by over 10% (absolute) on Challenge300, a suite of 300 challenge questions, despite being an order of magnitude smaller (11 billion vs. 175 billion parameters). In addition, Macaw allows different permutations ("angles") of its inputs and outputs to be used, for example Macaw can take a question and produce an answer; or take an answer and produce a question; or take an answer and question, and produce multiple-choice options. We describe the system, and illustrate a variety of question types where it produces surprisingly good answers, well outside the training setup. We also identify question classes where it still appears to struggle, offering insights into the limitations of pretrained language models. Macaw is freely available, and we hope that it proves useful to the community. Macaw is available at https://github.com/allenai/macaw
• Abstract（参考訳）: 事前訓練された言語モデルの成功にもかかわらず、高品質で汎用的なQAシステムはまだ少ない。 これに応えて、我々はコミュニティに提供しようとしている多種多様なQAシステムであるMacawを紹介した。 macawはunifiedqa上に構築されており、それ自体はt5上に構築されており、gpt-3を10パーセント以上(絶対的)に上回り、300のチャレンジ質問のスイートであるchallenge300では、桁違いに小さいにもかかわらず(100億と175億のパラメータ)、幅広いトピックにおいて、ゼロショットという強力なパフォーマンスを示している。 さらに、マッコーは入力と出力の異なる置換(アングル)を許可し、例えば、マコーは質問をし、答えを出し、答えを出し、質問を出し、答えと質問を出し、複数の選択肢を生成することができる。 システムを記述し、トレーニング設定外において驚くほど優れた回答を得られる様々な質問タイプについて説明する。 また、まだ苦労しているように見える質問クラスを特定し、事前訓練された言語モデルの制限に関する洞察を提供する。 Macawは無償で利用可能であり、コミュニティにとって有益であることが証明できればと思っています。 Macawはhttps://github.com/allenai/macawで入手できる。

関連論文リスト

• Can NLP Models 'Identify', 'Distinguish', and 'Justify' Questions that Don't have a Definitive Answer? [43.03399918557937]
  現実世界のアプリケーションでは、ユーザは決定的な答えを持たない質問をすることが多い。 QnotAは、明確な答えを持たない5つのカテゴリの質問からなるデータセットである。 このデータを用いて、システムの「識別」、「識別」、QnotA質問を「正当化」する能力をテストする3つの評価タスクを定式化する。 GPT-3 や Flan T5 といった SOTA モデルでさえ,これらのタスクはうまく行っていない。
  論文  参考訳（メタデータ） (2023-09-08T23:12:03Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• DREAM: Uncovering Mental Models behind Language Models [15.71233907204059]
  DREAMは、状況に関する質問を入力として受け取り、状況を解明するメンタルモデルを生成するモデルである。 既存のNLP資源から遠ざかって、社会的常識を継承する。 DREAMによって生成されたメンタルモデルは、状況的QAタスクのための追加のコンテキストとして使用できる。
  論文  参考訳（メタデータ） (2021-12-16T06:22:47Z)
• Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features [117.44028458220427]
  本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。 私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。 特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
  論文  参考訳（メタデータ） (2021-12-10T11:09:44Z)
• MixQG: Neural Question Generation with Mixed Answer Types [54.23205265351248]
  このギャップを埋めるために、ニューラル質問生成器MixQGを提案する。 yes/no, multiple-choice, extractive, abstractive answerなど,9つの質問応答データセットと多様な回答タイプを組み合わせる。 私たちのモデルは、目に見えない領域と見えない領域の両方で、既存の作業より優れています。
  論文  参考訳（メタデータ） (2021-10-15T16:03:40Z)
• Few-Shot Complex Knowledge Base Question Answering via Meta Reinforcement Learning [55.08037694027792]
  複雑な質問答え(CQA)は、知識ベース(KB)上の複雑な自然言語質問に答える。 従来のニューラルプログラム誘導(NPI)アプローチは、質問の種類が異なる場合、不均一なパフォーマンスを示す。 本稿では,CQAにおけるプログラム誘導のためのメタ強化学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-29T18:34:55Z)
• Unsupervised Multiple Choices Question Answering: Start Learning from Basic Knowledge [75.7135212362517]
  我々は、ほとんど教師なしの多重選択質問回答(MCQA)の可能性について検討する。 提案手法は RACE のベースラインアプローチよりも優れており,MC500 の教師あり学習手法と同等である。
  論文  参考訳（メタデータ） (2020-10-21T13:44:35Z)
• Sequence-to-Sequence Learning for Indonesian Automatic Question Generator [0.0]
  インドネシア語の自動質問生成装置を構築し、以前の研究からアーキテクチャを適用した。 BLEU1, BLEU2, BLEU3, BLEU4, ROUGE-Lスコアは38,35, 2096, 10,68, 5,78, 43,4であり、TyDiQAは39.9, 20.78, 10.26, 6.31, 44.13であった。
  論文  参考訳（メタデータ） (2020-09-29T09:25:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。