論文の概要: A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering

• arxiv url: http://arxiv.org/abs/2010.06835v2
• Date: Thu, 3 Feb 2022 14:52:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 23:47:48.637782
• Title: A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
• Title（参考訳）: 間違った回答か、それとも間違った質問か? 会話型質問応答における質問修正と回答選択の関連性
• Authors: Svitlana Vakulenko, Shayne Longpre, Zhucheng Tu, Raviteja Anantha
• Abstract要約: 会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。 TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
• 参考スコア（独自算出の注目度）: 15.355557454305776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The dependency between an adequate question formulation and correct answer selection is a very intriguing but still underexplored area. In this paper, we show that question rewriting (QR) of the conversational context allows to shed more light on this phenomenon and also use it to evaluate robustness of different answer selection approaches. We introduce a simple framework that enables an automated analysis of the conversational question answering (QA) performance using question rewrites, and present the results of this analysis on the TREC CAsT and QuAC (CANARD) datasets. Our experiments uncover sensitivity to question formulation of the popular state-of-the-art models for reading comprehension and passage ranking. Our results demonstrate that the reading comprehension model is insensitive to question formulation, while the passage ranking changes dramatically with a little variation in the input question. The benefit of QR is that it allows us to pinpoint and group such cases automatically. We show how to use this methodology to verify whether QA models are really learning the task or just finding shortcuts in the dataset, and better understand the frequent types of error they make.
• Abstract（参考訳）: 適切な質問の定式化と正しい回答の選択との依存性は非常に興味深いが、未熟な領域である。 本稿では,対話的文脈の質問書き直し(qr)により,この現象により多くの光を当て,異なる回答選択アプローチのロバスト性を評価することができることを示す。 本稿では,対話型質問応答(QA)のパフォーマンスを質問書き直しを用いて自動解析できるシンプルなフレームワークを紹介し,TREC CAsTおよびQuAC(CANARD)データセットでこの分析結果を示す。 本実験は,読解と歩数ランキングのためのポピュラーな最先端モデルの質問定式化に対する感度を明らかにする。 以上の結果から,読み理解モデルは質問定式化に影響を受けず,入力質問の変動は少ないが,通過順位は劇的に変化することが示された。 QRの利点は、このようなケースを自動的に特定してグループ化できることです。 この方法論を使って、qaモデルが実際にタスクを学習しているか、あるいはデータセットのショートカットを見つけるのかを検証し、頻繁なエラータイプを理解する方法を示します。

関連論文リスト

• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• On the Robustness of Question Rewriting Systems to Questions of Varying Hardness [43.63930447922717]
  我々は、難易度や難易度に異なる質問に対するQRシステムの堅牢性に興味を持っている。 まず,質問と書き直しの相違を計測することにより,質問を様々な難易度の部分集合に自動的に分類する手法を提案する。 QRシステムのロバスト性を高めるために,ある難易度の質問のサブセットに独立してQRモデルをトレーニングする新しいQR学習フレームワークを提案し,これらのQRモデルを推論のジョイントモデルとして組み合わせた。
  論文  参考訳（メタデータ） (2023-11-12T11:09:30Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Keeping the Questions Conversational: Using Structured Representations to Resolve Dependency in Conversational Question Answering [26.997542897342164]
  本稿では,中間表現を会話の手がかりとして捉え,生成するための新しいフレームワークCONVSR(CONVQA using Structured Representations)を提案する。 我々はQuACとCANARDのデータセット上でモデルをテストし、提案するフレームワークが標準的な質問書き直しモデルよりも優れたF1スコアを達成できることを実験結果により示す。
  論文  参考訳（メタデータ） (2023-04-14T13:42:32Z)
• Conversational QA Dataset Generation with Answer Revision [2.5838973036257458]
  本稿では,一節から質問に値するフレーズを抽出し,過去の会話を考慮し,それに対応する質問を生成する新しい枠組みを提案する。 本フレームワークでは,抽出した回答を質問生成後に修正し,その回答が一致した質問に正確に一致するようにした。
  論文  参考訳（メタデータ） (2022-09-23T04:05:38Z)
• GooAQ: Open Question Answering with Diverse Answer Types [63.06454855313667]
  さまざまな回答型を持つ大規模データセットであるGooAQを紹介する。 このデータセットには500万の質問と300万の回答が含まれている。
  論文  参考訳（メタデータ） (2021-04-18T05:40:39Z)
• Effective FAQ Retrieval and Question Matching With Unsupervised Knowledge Injection [10.82418428209551]
  質問に対して適切な回答を得るための文脈言語モデルを提案する。 また、ドメイン固有の単語間のトポロジ関連関係を教師なしの方法で活用することについても検討する。 提案手法のバリエーションを,公開可能な中国語FAQデータセット上で評価し,さらに大規模質問マッチングタスクに適用し,コンテキスト化する。
  論文  参考訳（メタデータ） (2020-10-27T05:03:34Z)
• Match$^2$: A Matching over Matching Model for Similar Question Identification [74.7142127303489]
  コミュニティ質問回答(Community Question Answering, CQA)は,質問や回答の提出を自由に行う,知識獲得のための主要な手段となっている。 類似した質問識別は、CQAの中核的なタスクとなり、新しい質問が尋ねられるたびに、アーカイブされたリポジトリから同様の質問を見つけることを目的としている。 自然言語の固有のバリエーション、すなわち、同じ質問をしたり、同じ表現を共有する異なる質問をする方法があるため、この2つの質問の類似性を適切に測定することは、長い間困難であった。 従来の手法では片側の使用が一般的であり、答えを拡張された表現として活用する。
  論文  参考訳（メタデータ） (2020-06-21T05:59:34Z)
• Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering [17.36904526340775]
  事前に予測された回答をテスト時に使用すると、複合的なエラーが発生する。 本研究では,目標解とモデル予測を動的に選択するサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-12T13:29:38Z)
• SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
  現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。 この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。 我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
  論文  参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。