論文の概要: On the Robustness of Question Rewriting Systems to Questions of Varying Hardness

• arxiv url: http://arxiv.org/abs/2311.06807v1
• Date: Sun, 12 Nov 2023 11:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 16:39:34.337400
• Title: On the Robustness of Question Rewriting Systems to Questions of Varying Hardness
• Title（参考訳）: 難易度変化問題に対する質問書き換えシステムのロバスト性について
• Authors: Hai Ye and Hwee Tou Ng and Wenjuan Han
• Abstract要約: 我々は、難易度や難易度に異なる質問に対するQRシステムの堅牢性に興味を持っている。 まず,質問と書き直しの相違を計測することにより,質問を様々な難易度の部分集合に自動的に分類する手法を提案する。 QRシステムのロバスト性を高めるために,ある難易度の質問のサブセットに独立してQRモデルをトレーニングする新しいQR学習フレームワークを提案し,これらのQRモデルを推論のジョイントモデルとして組み合わせた。
• 参考スコア（独自算出の注目度）: 43.63930447922717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In conversational question answering (CQA), the task of question rewriting~(QR) in context aims to rewrite a context-dependent question into an equivalent self-contained question that gives the same answer. In this paper, we are interested in the robustness of a QR system to questions varying in rewriting hardness or difficulty. Since there is a lack of questions classified based on their rewriting hardness, we first propose a heuristic method to automatically classify questions into subsets of varying hardness, by measuring the discrepancy between a question and its rewrite. To find out what makes questions hard or easy for rewriting, we then conduct a human evaluation to annotate the rewriting hardness of questions. Finally, to enhance the robustness of QR systems to questions of varying hardness, we propose a novel learning framework for QR that first trains a QR model independently on each subset of questions of a certain level of hardness, then combines these QR models as one joint model for inference. Experimental results on two datasets show that our framework improves the overall performance compared to the baselines.
• Abstract（参考訳）: 会話型質問応答(CQA)では、コンテキストにおける質問書き換えのタスク~(QR)は、コンテキストに依存した質問を、同じ答えを与える同等の自己完結した質問に書き換えることを目的としている。 本稿では,難易度や難易度が異なる質問に対するQRシステムの堅牢性に関心がある。 書き直し難易度に基づいて分類された質問の欠如から,まず,質問と書き直しの相違を計測することにより,質問を様々な難易度のサブセットに自動的に分類するヒューリスティック手法を提案する。 質問の書き直しの難しさや難易度を知るために、質問の書き直し難しさを注釈付けするために人間の評価を行う。 最後に, QRシステムの堅牢性を, 様々な難易度を問う質問に高めるために, まず, 特定の難易度の質問のサブセットに対して, QRモデルを独立に訓練する新しいQR学習フレームワークを提案し, そして, これらのQRモデルを推論のジョイントモデルとして組み合わせた。 2つのデータセットに対する実験結果から,本フレームワークはベースラインに比べて全体的なパフォーマンスを向上することが示された。

関連論文リスト

• Diversity Enhanced Narrative Question Generation for Storybooks [4.043005183192124]
  マルチクエスト生成モデル(mQG)を導入し,複数の,多様な,回答可能な質問を生成する。 生成した質問の応答性を検証するために,SQuAD2.0の微調整された質問応答モデルを用いる。 mQGは、強力なベースラインの中で、様々な評価指標で有望な結果を示している。
  論文  参考訳（メタデータ） (2023-10-25T08:10:04Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Answering Unanswered Questions through Semantic Reformulations in Spoken QA [20.216161323866867]
  Spoken Question Answering (QA) は音声アシスタントの重要な機能であり、通常は複数のQAシステムによって支援される。 我々は失敗したQA要求を分析し、語彙的ギャップ、命題型、複雑な構文構造、高い特異性など、主要な課題を特定する。 本稿では,3つの言語的操作(リペア,構文的再構成,一般化)による質問の書き直しと回答を容易にするセマンティック質問修正(SURF)モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-27T07:19:27Z)
• Keeping the Questions Conversational: Using Structured Representations to Resolve Dependency in Conversational Question Answering [26.997542897342164]
  本稿では,中間表現を会話の手がかりとして捉え,生成するための新しいフレームワークCONVSR(CONVQA using Structured Representations)を提案する。 我々はQuACとCANARDのデータセット上でモデルをテストし、提案するフレームワークが標準的な質問書き直しモデルよりも優れたF1スコアを達成できることを実験結果により示す。
  論文  参考訳（メタデータ） (2023-04-14T13:42:32Z)
• Conversational QA Dataset Generation with Answer Revision [2.5838973036257458]
  本稿では,一節から質問に値するフレーズを抽出し,過去の会話を考慮し,それに対応する質問を生成する新しい枠組みを提案する。 本フレームワークでは,抽出した回答を質問生成後に修正し,その回答が一致した質問に正確に一致するようにした。
  論文  参考訳（メタデータ） (2022-09-23T04:05:38Z)
• A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering [15.355557454305776]
  会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。 TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
  論文  参考訳（メタデータ） (2020-10-13T06:29:51Z)
• Tell Me How to Ask Again: Question Data Augmentation with Controllable Rewriting in Continuous Space [94.8320535537798]
  機械読解(MRC)、質問生成、質問答え自然言語推論タスクのための制御可能な書き換えベースの質問データ拡張(CRQDA)。 質問データ拡張タスクを制約付き質問書き換え問題として扱い、コンテキスト関連、高品質、多様な質問データサンプルを生成する。
  論文  参考訳（メタデータ） (2020-10-04T03:13:46Z)
• Match$^2$: A Matching over Matching Model for Similar Question Identification [74.7142127303489]
  コミュニティ質問回答(Community Question Answering, CQA)は,質問や回答の提出を自由に行う,知識獲得のための主要な手段となっている。 類似した質問識別は、CQAの中核的なタスクとなり、新しい質問が尋ねられるたびに、アーカイブされたリポジトリから同様の質問を見つけることを目的としている。 自然言語の固有のバリエーション、すなわち、同じ質問をしたり、同じ表現を共有する異なる質問をする方法があるため、この2つの質問の類似性を適切に測定することは、長い間困難であった。 従来の手法では片側の使用が一般的であり、答えを拡張された表現として活用する。
  論文  参考訳（メタデータ） (2020-06-21T05:59:34Z)
• Unsupervised Question Decomposition for Question Answering [102.56966847404287]
  本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。 当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
  論文  参考訳（メタデータ） (2020-02-22T19:40:35Z)
• Break It Down: A Question Understanding Benchmark [79.41678884521801]
  本稿では,質問に対する質問分解表現(QDMR)について紹介する。 QDMRは、質問に答えるために必要な自然言語で表されるステップの順序付きリストを構成する。 83万組の質問と彼らのQDMRを含むBreakデータセットをリリースする。
  論文  参考訳（メタデータ） (2020-01-31T11:04:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。