論文の概要: (QA)$^2$: Question Answering with Questionable Assumptions

• arxiv url: http://arxiv.org/abs/2212.10003v1
• Date: Tue, 20 Dec 2022 05:25:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 15:12:16.015564
• Title: (QA)$^2$: Question Answering with Questionable Assumptions
• Title（参考訳）: (qa)$^2$:疑わしい仮定による質問応答
• Authors: Najoung Kim, Phu Mon Htut, Samuel R. Bowman, Jackson Petty
• Abstract要約: 自然に発生する情報探索の質問は、しばしば疑わしい仮定を含む。 評価データセットとして (QA)$2$ (Question Answering with Questionable Assumptions) を提案する。
• 参考スコア（独自算出の注目度）: 26.992738874128992
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Naturally-occurring information-seeking questions often contain questionable assumptions -- assumptions that are false or unverifiable. Questions containing questionable assumptions are challenging because they require a distinct answer strategy that deviates from typical answers to information-seeking questions. For instance, the question "When did Marie Curie discover Uranium?" cannot be answered as a typical when question without addressing the false assumption "Marie Curie discovered Uranium". In this work, we propose (QA)$^2$ (Question Answering with Questionable Assumptions), an open-domain evaluation dataset consisting of naturally-occurring search engine queries that may or may not contain questionable assumptions. To be successful on (QA)$^2$, systems must be able to detect questionable assumptions and also be able to produce adequate responses for both typical information-seeking questions and ones with questionable assumptions. We find that current models do struggle with handling questionable assumptions -- the best performing model achieves 59% human rater acceptability on abstractive QA with (QA)$^2$ questions, leaving substantial headroom for progress.
• Abstract（参考訳）: 自然に発生する情報探索の質問には、しばしば疑わしい仮定が含まれます。 疑わしい仮定を含む質問は、典型的な回答から情報を見る質問まで、異なる回答戦略を必要とするため、難しい。 例えば、「マリー・キュリーがウランを発見したのはいつですか?」という質問は、「マリー・キュリーがウランを発見した」という誤った仮定に答えることなく、通常の質問として答えることはできない。 本研究では,疑わしい仮定を含むか否かを問わない,自然に発生する検索エンジンクエリからなるオープンドメイン評価データセットである (qa)$^2$ (question answering with questionable assumptions)を提案する。 QA)$^2$で成功するためには、システムは疑わしい仮定を検出でき、また、典型的な情報探索問題と疑わしい仮定の双方に対して適切な応答を生成できなければならない。 最高のパフォーマンスモデルは、(QA)$^2$の質問で抽象的なQAに対して59%の人間レーダの受理性を達成し、進歩のための実質的な見出しを残します。

関連論文リスト

• Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
  非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。 質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
  論文  参考訳（メタデータ） (2024-04-16T21:33:05Z)
• Researchy Questions: A Dataset of Multi-Perspective, Decompositional Questions for LLM Web Agents [22.023543164141504]
  我々は,検索エンジンクエリのデータセットであるResearchy Questionsを紹介した。 クリックやセッションの長さといったシグナルによって,これらの質問に多くの労力が費やされていることを,私たちは示しています。 また、サブクエストへの分解のようなスロー思考の解答技術は、直接解答するよりも有益であることを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:27:16Z)
• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• When to Read Documents or QA History: On Unified and Selective Open-domain QA [22.941325275188376]
  本稿では,知識資源を活用した多様な質問に答えることを目的として,オープンドメイン質問応答の問題について検討する。 QAペアと文書コーパスの2種類のソースは、以下の相補的な強度で積極的に活用されている。 したがって、自然なフォローアップが両方のモデルを活用する一方で、単純でパイプライニングや統合的なアプローチは、どちらのモデルよりも追加的な利益をもたらすことができませんでした。
  論文  参考訳（メタデータ） (2023-06-07T06:03:39Z)
• Mastering the ABCDs of Complex Questions: Answer-Based Claim Decomposition for Fine-grained Self-Evaluation [9.776667356119352]
  本稿では,質問を真偽のクレームに分解する手法であるABCDを提案する。 ABCDクレームを分解し, きめ細かい自己評価を行う。 GPT-3.5は、その答えがどの程度入力された質問の基準を満たすかを決定する能力を持っていることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T05:53:11Z)
• Selectively Answering Ambiguous Questions [38.83930394700588]
  我々は, サンプルモデル出力における繰り返しの定量化が, 退避時期を決定する最も信頼性の高い手法であることが判明した。 その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-24T01:25:38Z)
• CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
  オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
  論文  参考訳（メタデータ） (2022-11-30T18:54:49Z)
• Match$^2$: A Matching over Matching Model for Similar Question Identification [74.7142127303489]
  コミュニティ質問回答(Community Question Answering, CQA)は,質問や回答の提出を自由に行う,知識獲得のための主要な手段となっている。 類似した質問識別は、CQAの中核的なタスクとなり、新しい質問が尋ねられるたびに、アーカイブされたリポジトリから同様の質問を見つけることを目的としている。 自然言語の固有のバリエーション、すなわち、同じ質問をしたり、同じ表現を共有する異なる質問をする方法があるため、この2つの質問の類似性を適切に測定することは、長い間困難であった。 従来の手法では片側の使用が一般的であり、答えを拡張された表現として活用する。
  論文  参考訳（メタデータ） (2020-06-21T05:59:34Z)
• Unsupervised Question Decomposition for Question Answering [102.56966847404287]
  本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。 当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
  論文  参考訳（メタデータ） (2020-02-22T19:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。