論文の概要: CREPE: Open-Domain Question Answering with False Presuppositions

• arxiv url: http://arxiv.org/abs/2211.17257v1
• Date: Wed, 30 Nov 2022 18:54:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 15:36:18.080696
• Title: CREPE: Open-Domain Question Answering with False Presuppositions
• Title（参考訳）: CREPE: 偽の前提で回答するオープンドメイン
• Authors: Xinyan Velocity Yu, Sewon Min, Luke Zettlemoyer and Hannaneh Hajishirzi
• Abstract要約: オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
• 参考スコア（独自算出の注目度）: 92.20501870319765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information seeking users often pose questions with false presuppositions, especially when asking about unfamiliar topics. Most existing question answering (QA) datasets, in contrast, assume all questions have well defined answers. We introduce CREPE, a QA dataset containing a natural distribution of presupposition failures from online information-seeking forums. We find that 25% of questions contain false presuppositions, and provide annotations for these presuppositions and their corrections. Through extensive baseline experiments, we show that adaptations of existing open-domain QA models can find presuppositions moderately well, but struggle when predicting whether a presupposition is factually correct. This is in large part due to difficulty in retrieving relevant evidence passages from a large text corpus. CREPE provides a benchmark to study question answering in the wild, and our analyses provide avenues for future work in better modeling and further studying the task.
• Abstract（参考訳）: ユーザを求める情報は、特に不慣れな話題について質問する際に、誤った前提で質問をすることが多い。 一方、既存の質問応答(qa)データセットの多くは、すべての質問によく定義された回答があると仮定している。 オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 大規模なベースライン実験により、既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労することを示した。 これは、大きなテキストコーパスから関連する証拠を回収することの難しさによるところが大きい。 CREPEは、荒野での質問応答を研究するためのベンチマークを提供し、我々の分析は、よりよいモデリングとタスクのさらなる研究における将来の研究の道筋を提供する。

関連論文リスト

• Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
  非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。 質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
  論文  参考訳（メタデータ） (2024-04-16T21:33:05Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections [35.005593397252746]
  談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。 本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。 得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2021-11-01T04:50:26Z)
• A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers [66.11048565324468]
  1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。 各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。 他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
  論文  参考訳（メタデータ） (2021-05-07T00:12:34Z)
• Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip Prediction [46.38201136570501]
  本稿では,複数の通路からの証拠を集約し,一つの回答や質問対の集合を適応的に予測するモデルを提案する。 我々のモデルはRefuelと呼ばれ、AmbigQAデータセット上で新しい最先端のパフォーマンスを実現し、NQ-OpenおよびTriviaQA上での競合性能を示す。
  論文  参考訳（メタデータ） (2020-11-26T05:48:55Z)
• Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval [46.3246135936476]
  情報検索クエリの応答がより難しい理由と,その原因を解析する。 制御実験の結果,2つのヘッドルーム – 段落選択と応答可能性予測 – が示唆された。 私たちは6つの言語で800の未解決例を手動で注釈付けします。
  論文  参考訳（メタデータ） (2020-10-22T17:48:17Z)
• What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets [40.64071905569975]
  ビデオQAデータセットの回答バイアスは、QAアーティファクトに過度に適合するように、マルチモーダルモデルを誤解させる可能性がある。 私たちの研究では、アノテータや質問の種類からバイアスが生まれます。 また,ビデオQAデータセットのQAバイアスを低減できることを示す。
  論文  参考訳（メタデータ） (2020-07-07T17:00:11Z)
• Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering [17.36904526340775]
  事前に予測された回答をテスト時に使用すると、複合的なエラーが発生する。 本研究では,目標解とモデル予測を動的に選択するサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-12T13:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。