論文の概要: Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement

• arxiv url: http://arxiv.org/abs/2302.05137v1
• Date: Fri, 10 Feb 2023 09:42:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 16:12:31.330441
• Title: Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement
• Title（参考訳）: 校正信頼度と不確かさ測定に基づく回答選択による現実的会話質問応答
• Authors: Soyeong Jeong, Jinheon Baek, Sung Ju Hwang, Jong C. Park
• Abstract要約: 対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
• 参考スコア（独自算出の注目度）: 54.55643652781891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conversational Question Answering (ConvQA) models aim at answering a question with its relevant paragraph and previous question-answer pairs that occurred during conversation multiple times. To apply such models to a real-world scenario, some existing work uses predicted answers, instead of unavailable ground-truth answers, as the conversation history for inference. However, since these models usually predict wrong answers, using all the predictions without filtering significantly hampers the model performance. To address this problem, we propose to filter out inaccurate answers in the conversation history based on their estimated confidences and uncertainties from the ConvQA model, without making any architectural changes. Moreover, to make the confidence and uncertainty values more reliable, we propose to further calibrate them, thereby smoothing the model predictions. We validate our models, Answer Selection-based realistic Conversation Question Answering, on two standard ConvQA datasets, and the results show that our models significantly outperform relevant baselines. Code is available at: https://github.com/starsuzi/AS-ConvQA.
• Abstract（参考訳）: 対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 そのようなモデルを現実のシナリオに適用するために、既存の研究では、推論のための会話履歴として、予測された答えを使用する。 しかし、これらのモデルは通常間違った答えを予測するため、全ての予測を使用することでモデルのパフォーマンスを著しく損なう。 そこで本研究では,ConvQAモデルからの信頼度や不確実性に基づいて,アーキテクチャ上の変更を伴わずに,会話履歴における不正確な回答をフィルタリングすることを提案する。 さらに、信頼度と不確実性値をより信頼性の高いものにするため、さらにキャリブレーションを行い、モデル予測を円滑にすることを提案する。 我々は,2つの標準ConvQAデータセットを用いて,回答選択に基づく現実的会話質問回答モデルの有効性を検証し,本モデルが関連するベースラインを大幅に上回ることを示す。 コードは、https://github.com/starsuzi/AS-ConvQA.comで入手できる。

関連論文リスト

• GSQA: An End-to-End Model for Generative Spoken Question Answering [54.418723701886115]
  本稿では,システムに抽象的推論を強制するGSQA(Generative Spoken Question Answering)モデルを提案する。 本モデルでは, 抽出QAデータセットにおいて, 従来の抽出モデルよりも3%上回っている。 我々のGSQAモデルは、幅広い質問に一般化する可能性を示し、それによって、抽象的QAの音声質問応答能力をさらに拡張する。
  論文  参考訳（メタデータ） (2023-12-15T13:33:18Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Can NLI Models Verify QA Systems' Predictions? [34.46234860404459]
  私たちは、自然言語推論(NLI)を使用して堅牢な質問応答システムを構築します。 大規模なトレーニング済みモデルと最近のデータセットを活用して、強力な質問コンバータと非コンテキスト化モジュールを構築しています。 我々のNLIアプローチは、一般的に異なる領域にわたるQAモデルの信頼性推定を改善することができることを示す。
  論文  参考訳（メタデータ） (2021-04-18T06:03:07Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip Prediction [46.38201136570501]
  本稿では,複数の通路からの証拠を集約し,一つの回答や質問対の集合を適応的に予測するモデルを提案する。 我々のモデルはRefuelと呼ばれ、AmbigQAデータセット上で新しい最先端のパフォーマンスを実現し、NQ-OpenおよびTriviaQA上での競合性能を示す。
  論文  参考訳（メタデータ） (2020-11-26T05:48:55Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)
• Do not let the history haunt you -- Mitigating Compounding Errors in Conversational Question Answering [17.36904526340775]
  事前に予測された回答をテスト時に使用すると、複合的なエラーが発生する。 本研究では,目標解とモデル予測を動的に選択するサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-12T13:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。