論文の概要: Asking Clarification Questions to Handle Ambiguity in Open-Domain QA

• arxiv url: http://arxiv.org/abs/2305.13808v2
• Date: Wed, 25 Oct 2023 06:24:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 20:51:21.456587
• Title: Asking Clarification Questions to Handle Ambiguity in Open-Domain QA
• Title（参考訳）: オープンドメインQAにおけるあいまいさの扱いについて
• Authors: Dongryeol Lee, Segwang Kim, Minwoo Lee, Hwanhee Lee, Joonsuk Park, Sang-Woo Lee and Kyomin Jung
• Abstract要約: 本稿では,ユーザの反応がユーザの意図に最も合致する解釈を識別する上で有効であることを示す。 最初に,5,654の曖昧な質問からなるデータセットであるCAMBIGNQを提示する。 次にタスクのパイプラインを定義し、適切な評価指標を設計します。
• 参考スコア（独自算出の注目度）: 25.80369529145732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ambiguous questions persist in open-domain question answering, because formulating a precise question with a unique answer is often challenging. Previously, Min et al. (2020) have tackled this issue by generating disambiguated questions for all possible interpretations of the ambiguous question. This can be effective, but not ideal for providing an answer to the user. Instead, we propose to ask a clarification question, where the user's response will help identify the interpretation that best aligns with the user's intention. We first present CAMBIGNQ, a dataset consisting of 5,654 ambiguous questions, each with relevant passages, possible answers, and a clarification question. The clarification questions were efficiently created by generating them using InstructGPT and manually revising them as necessary. We then define a pipeline of tasks and design appropriate evaluation metrics. Lastly, we achieve 61.3 F1 on ambiguity detection and 40.5 F1 on clarification-based QA, providing strong baselines for future work.
• Abstract（参考訳）: 明確な質問を独特な答えで定式化することは、しばしば困難である。 以前、Min et al. (2020) は曖昧な質問の可能な全ての解釈に対して曖昧な質問を発生させることでこの問題に対処した。 これは効果的であるが、ユーザーに答えを提供するのに理想的ではない。 そこで,我々は,ユーザの意図に最も合致する解釈を特定するのに,ユーザの反応が役立つ明確化質問を提示する。 我々はまず,5,654の曖昧な質問からなるデータセットであるCAMBIGNQを提示する。 説明質問はinstructgptを用いて生成し,必要に応じて手作業で修正することで効率的に作成される。 次にタスクのパイプラインを定義し、適切な評価メトリクスを設計する。 最後に,曖昧性検出では61.3 f1,明確化に基づくqaでは40.5 f1を達成し,今後の作業において強力なベースラインを提供する。

関連論文リスト

• Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
  非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。 質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
  論文  参考訳（メタデータ） (2024-04-16T21:33:05Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Answering Unanswered Questions through Semantic Reformulations in Spoken QA [20.216161323866867]
  Spoken Question Answering (QA) は音声アシスタントの重要な機能であり、通常は複数のQAシステムによって支援される。 我々は失敗したQA要求を分析し、語彙的ギャップ、命題型、複雑な構文構造、高い特異性など、主要な課題を特定する。 本稿では,3つの言語的操作(リペア,構文的再構成,一般化)による質問の書き直しと回答を容易にするセマンティック質問修正(SURF)モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-27T07:19:27Z)
• CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
  オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
  論文  参考訳（メタデータ） (2022-11-30T18:54:49Z)
• ASQA: Factoid Questions Meet Long-Form Answers [35.11889930792675]
  この研究は、解釈によって異なる正しい答えを持つ、あいまいな事実型問題に焦点を当てている。 曖昧な質問に対する回答は、複数の情報源からの事実情報を長文の要約にまとめるべきである。 我々は、この正確性の概念を用いて、ASQAのパフォーマンスの自動測定基準を定義します。
  論文  参考訳（メタデータ） (2022-04-12T21:58:44Z)
• Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections [35.005593397252746]
  談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。 本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。 得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2021-11-01T04:50:26Z)
• GooAQ: Open Question Answering with Diverse Answer Types [63.06454855313667]
  さまざまな回答型を持つ大規模データセットであるGooAQを紹介する。 このデータセットには500万の質問と300万の回答が含まれている。
  論文  参考訳（メタデータ） (2021-04-18T05:40:39Z)
• Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip Prediction [46.38201136570501]
  本稿では,複数の通路からの証拠を集約し,一つの回答や質問対の集合を適応的に予測するモデルを提案する。 我々のモデルはRefuelと呼ばれ、AmbigQAデータセット上で新しい最先端のパフォーマンスを実現し、NQ-OpenおよびTriviaQA上での競合性能を示す。
  論文  参考訳（メタデータ） (2020-11-26T05:48:55Z)
• AmbigQA: Answering Ambiguous Open-domain Questions [99.59747941602684]
  我々はAmbigQAを紹介した。AmbigQAは、あらゆる可能な答えを見つけることを含む、新しいオープンドメインの質問応答タスクである。 この課題を研究するために,NQ-openから14,042質問をカバーしたデータセットAmbigNQを構築した。 NQオープンの質問の半数以上が曖昧で、イベントやエンティティ参照といった曖昧さの源泉が多様であることがわかった。
  論文  参考訳（メタデータ） (2020-04-22T15:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。