論文の概要: ProtoQA: A Question Answering Dataset for Prototypical Common-Sense Reasoning

• arxiv url: http://arxiv.org/abs/2005.00771v3
• Date: Tue, 27 Oct 2020 21:23:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 12:35:34.972172
• Title: ProtoQA: A Question Answering Dataset for Prototypical Common-Sense Reasoning
• Title（参考訳）: ProtoQA: プロトタイプ・コモンセンス推論のための質問応答データセット
• Authors: Michael Boratko, Xiang Lorraine Li, Rajarshi Das, Tim O'Gorman, Dan Le, Andrew McCallum
• Abstract要約: 本稿では,人工知能システムの常識推論能力をトレーニングし,評価するための新しい質問応答データセットを提案する。 トレーニングセットは、長期にわたる国際ゲームショーFAMILY-FEUDでプレイされている既存の質問セットから収集される。 また,モデルがランク付けされた回答リストを出力しなければならない生成的評価タスクを提案する。
• 参考スコア（独自算出の注目度）: 35.6375880208001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given questions regarding some prototypical situation such as Name something that people usually do before they leave the house for work? a human can easily answer them via acquired experiences. There can be multiple right answers for such questions, with some more common for a situation than others. This paper introduces a new question answering dataset for training and evaluating common sense reasoning capabilities of artificial intelligence systems in such prototypical situations. The training set is gathered from an existing set of questions played in a long-running international game show FAMILY- FEUD. The hidden evaluation set is created by gathering answers for each question from 100 crowd-workers. We also propose a generative evaluation task where a model has to output a ranked list of answers, ideally covering all prototypical answers for a question. After presenting multiple competitive baseline models, we find that human performance still exceeds model scores on all evaluation metrics with a meaningful gap, supporting the challenging nature of the task.
• Abstract（参考訳）: 人々が仕事のために家を出る前によく行うことなど、いくつかの原型的な状況に関する質問が与えられますか? 人間は獲得した経験を通じて容易に答えることができる。 そのような質問には複数の正しい答えがあり、他の質問よりも状況に共通するものもある。 本稿では,このような状況下での人工知能システムの常識推論能力をトレーニングし,評価するための新しい質問応答データセットを提案する。 トレーニングセットは、長期にわたる国際ゲームショーFAMILY-FEUDでプレイされている既存の質問セットから収集される。 隠れた評価セットは、100人の参加者から各質問に対する回答を収集することによって作成される。 また、モデルが解のランク付けリストを出力し、理想的には質問に対する全ての原型的回答をカバーする生成的評価タスクを提案する。 複数の競合するベースラインモデルを提示した後、人間のパフォーマンスは有意義なギャップを持つ全ての評価指標のモデルスコアを超え、タスクの難易度を支えていることがわかった。

関連論文リスト

• Multimodal Reranking for Knowledge-Intensive Visual Question Answering [77.24401833951096]
  回答生成のための知識候補のランク付け品質を向上させるためのマルチモーダル・リランカを提案する。 OK-VQAとA-OKVQAの実験は、遠隔監視からのマルチモーダルリランカーが一貫した改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2024-07-17T02:58:52Z)
• Aspect-oriented Consumer Health Answer Summarization [2.298110639419913]
  コミュニティ質問回答(Community Question-Answering、CQA)フォーラムは、人々が情報を求める方法、特に医療ニーズに関連するものに革命をもたらした。 単一のクエリに対する応答にはいくつかの回答があるため、特定の健康上の懸念に関連する重要な情報を把握することが難しくなる。 本研究は、この制限に対処するために、側面に基づく健康回答の要約に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-10T07:52:43Z)
• Can NLP Models 'Identify', 'Distinguish', and 'Justify' Questions that Don't have a Definitive Answer? [43.03399918557937]
  現実世界のアプリケーションでは、ユーザは決定的な答えを持たない質問をすることが多い。 QnotAは、明確な答えを持たない5つのカテゴリの質問からなるデータセットである。 このデータを用いて、システムの「識別」、「識別」、QnotA質問を「正当化」する能力をテストする3つの評価タスクを定式化する。 GPT-3 や Flan T5 といった SOTA モデルでさえ,これらのタスクはうまく行っていない。
  論文  参考訳（メタデータ） (2023-09-08T23:12:03Z)
• Model Analysis & Evaluation for Ambiguous Question Answering [0.0]
  質問回答モデルは、しばしば矛盾する情報の断片を組み合わせた長文の回答を生成するために必要である。 この分野の最近の進歩は、流動的な応答を発生させる強力な能力を示しているが、いくつかの研究課題は未解決のままである。 これらの側面を徹底的に調査し、現在のアプローチの限界について貴重な洞察を提供することを目指しています。
  論文  参考訳（メタデータ） (2023-05-21T15:20:20Z)
• Mixture of Experts for Biomedical Question Answering [34.92691831878302]
  そこで我々はMOEBQAと呼ばれるMixture-of-Expert (MoE)ベースの質問応答手法を提案する。 MoEBQAはスパースルーティングによって異なるタイプの質問の計算を分離する。 実検に基づいて構築した3つのバイオメディカル質問応答(BQA)データセットのMOEBQAを評価する。
  論文  参考訳（メタデータ） (2022-04-15T14:11:40Z)
• How Do We Answer Complex Questions: Discourse Structure of Long-form Answers [51.973363804064704]
  3つのデータセットから収集した長文回答の機能構造について検討した。 私たちの主な目標は、人間が複雑な答えを作るためにどのように情報を整理するかを理解することです。 我々の研究は、長期QAシステムの談話レベルのモデリングと評価に関する将来の研究に刺激を与えることができる。
  論文  参考訳（メタデータ） (2022-03-21T15:14:10Z)
• AnswerSumm: A Manually-Curated Dataset and Pipeline for Answer Summarization [73.91543616777064]
  Stack OverflowやYahoo!のようなコミュニティ質問回答(CQA)フォーラムには、幅広いコミュニティベースの質問に対する回答の豊富なリソースが含まれている。 回答の要約の1つのゴールは、回答の視点の範囲を反映した要約を作成することである。 本研究は,専門言語学者による解答要約のための4,631個のCQAスレッドからなる新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2021-11-11T21:48:02Z)
• MixQG: Neural Question Generation with Mixed Answer Types [54.23205265351248]
  このギャップを埋めるために、ニューラル質問生成器MixQGを提案する。 yes/no, multiple-choice, extractive, abstractive answerなど,9つの質問応答データセットと多様な回答タイプを組み合わせる。 私たちのモデルは、目に見えない領域と見えない領域の両方で、既存の作業より優れています。
  論文  参考訳（メタデータ） (2021-10-15T16:03:40Z)
• A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers [66.11048565324468]
  1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。 各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。 他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
  論文  参考訳（メタデータ） (2021-05-07T00:12:34Z)
• Review-guided Helpful Answer Identification in E-commerce [38.276241153439955]
  製品固有のコミュニティ質問応答プラットフォームは、潜在的な顧客の懸念に対処するのに大いに役立ちます。 このようなプラットフォーム上でユーザが提供する回答は、その品質に大きく違いがあります。 コミュニティからのヘルプフルネスの投票は、回答の全体的な品質を示すことができるが、しばしば欠落している。
  論文  参考訳（メタデータ） (2020-03-13T11:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。