論文の概要: IfQA: A Dataset for Open-domain Question Answering under Counterfactual Presuppositions

• arxiv url: http://arxiv.org/abs/2305.14010v1
• Date: Tue, 23 May 2023 12:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 16:30:28.821307
• Title: IfQA: A Dataset for Open-domain Question Answering under Counterfactual Presuppositions
• Title（参考訳）: IfQA: 対実的前提に基づくオープンドメイン質問回答データセット
• Authors: Wenhao Yu, Meng Jiang, Peter Clark, Ashish Sabharwal
• Abstract要約: 本稿では,QA(FifQA)と呼ばれる,最初の大規模対実的オープンドメイン質問応答(QA)ベンチマークを紹介する。 IfQAデータセットには3,800以上の質問が含まれている。 IfQAベンチマークによって引き起こされるユニークな課題は、検索と対実的推論の両方に関して、オープンドメインのQA研究を促進することである。
• 参考スコア（独自算出の注目度）: 54.23087908182134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although counterfactual reasoning is a fundamental aspect of intelligence, the lack of large-scale counterfactual open-domain question-answering (QA) benchmarks makes it difficult to evaluate and improve models on this ability. To address this void, we introduce the first such dataset, named IfQA, where each question is based on a counterfactual presupposition via an "if" clause. For example, if Los Angeles was on the east coast of the U.S., what would be the time difference between Los Angeles and Paris? Such questions require models to go beyond retrieving direct factual knowledge from the Web: they must identify the right information to retrieve and reason about an imagined situation that may even go against the facts built into their parameters. The IfQA dataset contains over 3,800 questions that were annotated annotated by crowdworkers on relevant Wikipedia passages. Empirical analysis reveals that the IfQA dataset is highly challenging for existing open-domain QA methods, including supervised retrieve-then-read pipeline methods (EM score 36.2), as well as recent few-shot approaches such as chain-of-thought prompting with GPT-3 (EM score 27.4). The unique challenges posed by the IfQA benchmark will push open-domain QA research on both retrieval and counterfactual reasoning fronts.
• Abstract（参考訳）: 反事実推論はインテリジェンスの基本的側面であるが、大規模な反事実的オープンドメイン質問応答(QA)ベンチマークの欠如により、この能力のモデルの評価と改善が困難になる。 この空白に対処するために、最初のデータセットであるIfQAを導入し、各質問は"if"節による反ファクト的前提に基づいている。 例えば、もしロサンゼルスがアメリカの東海岸にあったら、ロサンゼルスとパリの時間差は何でしょう? そのような質問は、モデルがwebから直接の事実知識を取得すること以上のことを要求する。 パラメータに組み込まれた事実に逆らう可能性のある想像上の状況について、適切な情報を特定し、推論する必要がある。 IfQAデータセットには3,800以上の質問が含まれており、関連するウィキペディアの項目についてクラウドワーカーが注釈を付けた。 実証分析により、IfQAデータセットは既存のオープンドメインQAメソッドでは極めて困難であることが判明した。その中には、教師付きレトリビュート・リード・パイプライン手法(EMスコア36.2)や、GPT-3(EMスコア27.4)でトリガーするチェーン・オブ・シントのような最近のいくつかのアプローチが含まれる。 IfQAベンチマークのユニークな課題は、検索と対実的推論の両方に関して、オープンドメインのQA研究を促進することである。

関連論文リスト

• MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through Multi-Answer Open-Domain Question Answering [8.70509665552136]
  チェック価値のあるクレーム検出は、下流のファクトチェックシステムや、チェックする人間の専門家に、もっともらしい誤情報を提供することを目的としている。 しかし、Twitterのような大規模情報ソースから直接、チェック価値のあるクレームを効率的に検出する方法は、まだ解明されていない。 我々は、クエリベースの大規模チェックアワークレーム検出のための矛盾するスタンスマイニングを含む、複数回答のオープンドメイン質問応答(QA)タスクであるMythQAを紹介する。
  論文  参考訳（メタデータ） (2023-07-21T18:35:24Z)
• RealTime QA: What's the Answer Right Now? [137.04039209995932]
  本稿では,動的質問応答(QA)プラットフォームであるREALTIME QAを紹介する。 GPT-3 や T5 など,大規模事前学習型言語モデルに基づく強力なベースラインモデルを構築した。 GPT-3は、検索された文書が答えを見つけるのに十分な情報を提供していない場合、時代遅れの回答を返す傾向がある。
  論文  参考訳（メタデータ） (2022-07-27T07:26:01Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Relation-Guided Pre-Training for Open-Domain Question Answering [67.86958978322188]
  複雑なオープンドメイン問題を解決するためのRGPT-QA(Relation-Guided Pre-Training)フレームワークを提案する。 RGPT-QAは, 自然質問, TriviaQA, WebQuestionsにおいて, Exact Matchの精度が2.2%, 2.4%, 6.3%向上したことを示す。
  論文  参考訳（メタデータ） (2021-09-21T17:59:31Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• SituatedQA: Incorporating Extra-Linguistic Contexts into QA [7.495151447459443]
  SituatedQA(SituatedQA)は,時間的・地理的文脈を考慮に入れた質問に対して,システムが正しい回答を提示しなければならない,オープン検索型QAデータセットである。 質問を求める情報のかなりの割合は、文脈に依存した回答であることがわかった。 我々の研究は、既存のモデルが頻繁に更新される、あるいは珍しい場所から回答を得るのに苦労していることを示している。
  論文  参考訳（メタデータ） (2021-09-13T17:53:21Z)
• Narrative Question Answering with Cutting-Edge Open-Domain QA Techniques: A Comprehensive Study [45.9120218818558]
  我々は,NarrativeQAデータセットについて,最先端ODQA技術を用いた実験でベンチマークを行った。 このことは、書籍のQAがもたらす課題を定量化し、発行された最先端技術がルージュ-Lの絶対的な改善として$sim$7%で進歩する。 その結果,イベント中心の質問がこのタスクを支配しており,イベント指向シナリオを扱うための既存のQAモデルの欠如を実証していることがわかった。
  論文  参考訳（メタデータ） (2021-06-07T17:46:09Z)
• AmbigQA: Answering Ambiguous Open-domain Questions [99.59747941602684]
  我々はAmbigQAを紹介した。AmbigQAは、あらゆる可能な答えを見つけることを含む、新しいオープンドメインの質問応答タスクである。 この課題を研究するために,NQ-openから14,042質問をカバーしたデータセットAmbigNQを構築した。 NQオープンの質問の半数以上が曖昧で、イベントやエンティティ参照といった曖昧さの源泉が多様であることがわかった。
  論文  参考訳（メタデータ） (2020-04-22T15:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。