論文の概要: Calibrating Trust of Multi-Hop Question Answering Systems with Decompositional Probes

• arxiv url: http://arxiv.org/abs/2204.07693v1
• Date: Sat, 16 Apr 2022 01:03:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 14:31:43.820539
• Title: Calibrating Trust of Multi-Hop Question Answering Systems with Decompositional Probes
• Title（参考訳）: 分解プローブを用いたマルチホップ質問応答システムの校正信頼度
• Authors: Kaige Xie, Sarah Wiegreffe, Mark Riedl
• Abstract要約: マルチホップ質問回答(Multi-hop Question Answering, QA)は、複数の文脈からの情報の正確な集約を必要とするため、難しい課題である。 マルチホップQAにおける最近の研究は、まず質問を単純なシングルホップの質問に分解することで、パフォーマンスを向上できることを示している。 そこで本研究では,分解はQAシステムを探索する有効な方法であり,説明生成への有望なアプローチであることを示す。
• 参考スコア（独自算出の注目度）: 14.302797773412543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-hop Question Answering (QA) is a challenging task since it requires an accurate aggregation of information from multiple context paragraphs and a thorough understanding of the underlying reasoning chains. Recent work in multi-hop QA has shown that performance can be boosted by first decomposing the questions into simpler, single-hop questions. In this paper, we explore one additional utility of the multi-hop decomposition from the perspective of explainable NLP: to create explanation by probing a neural QA model with them. We hypothesize that in doing so, users will be better able to construct a mental model of when the underlying QA system will give the correct answer. Through human participant studies, we verify that exposing the decomposition probes and answers to the probes to users can increase their ability to predict system performance on a question instance basis. We show that decomposition is an effective form of probing QA systems as well as a promising approach to explanation generation. In-depth analyses show the need for improvements in decomposition systems.
• Abstract（参考訳）: マルチホップ質問回答(Multi-hop Question Answering, QA)は、複数の文脈からの情報の正確な集約と、基礎となる推論連鎖の理解を必要とするため、難しい課題である。 マルチホップQAにおける最近の研究は、まず質問を単純なシングルホップの質問に分解することで、パフォーマンスを向上できることを示している。 本稿では, 説明可能なNLPの観点から, マルチホップ分解の新たな有用性について検討する。 そうすることで、ユーザは、基礎となるQAシステムが正しい答えを与えるときのメンタルモデルを構築することができる、という仮説を立てています。 ヒトの参加者による研究を通して,分解プローブと回答をユーザに公開することで,質問事例に基づいてシステム性能を予測する能力が向上することを確認した。 分解はqaシステムを探索する効果的な形態であり,説明生成に有望なアプローチであることを示す。 詳細な分析は、分解システムの改善の必要性を示している。

関連論文リスト

• Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering [85.79940770146557]
  マルチホップ質問を複数の単一ホップ質問に分解する。 これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。 シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
  論文  参考訳（メタデータ） (2022-10-09T11:48:07Z)
• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering [71.49131159045811]
  マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。 既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。 そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:24:25Z)
• Interpretable AMR-Based Question Decomposition for Multi-hop Question Answering [12.35571328854374]
  マルチホップQAのための抽象的意味表現(QDAMR)に基づく質問分解手法を提案する。 マルチホップ質問をより単純なサブクエストに分解し、順番に答える。 HotpotQAの実験結果から,本手法は解釈可能な推論と競合することが示された。
  論文  参考訳（メタデータ） (2022-06-16T23:46:33Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Ask to Understand: Question Generation for Multi-hop Question Answering [11.626390908264872]
  マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複数の文書から散乱した手がかりを見つけ、推論することで複雑な質問に答えることを要求する。 質問生成(QG)の観点から,マルチホップQAを補完する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-17T04:02:29Z)
• Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
  マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。 複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。 提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-19T06:15:36Z)
• Reinforced Multi-task Approach for Multi-hop Question Generation [47.15108724294234]
  我々は,その文脈における支援事実に基づいて,関連する質問を生成することを目的としたマルチホップ質問生成を取り上げている。 我々は,質問生成を導くために,回答認識支援事実予測の補助タスクを備えたマルチタスク学習を採用する。 マルチホップ質問応答データセットHotPotQAの実験を通して,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-04-05T10:16:59Z)
• Unsupervised Question Decomposition for Question Answering [102.56966847404287]
  本論文では, ワンツーNアン教師付きシーケンスシーケンス(ONUS)のアルゴリズムを提案する。 当初,ドメイン外,マルチホップ開発セットのベースラインが強かったため,HotpotQAでは大きなQA改善が見られた。
  論文  参考訳（メタデータ） (2020-02-22T19:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。