論文の概要: Robustifying Multi-hop QA through Pseudo-Evidentiality Training
- arxiv url: http://arxiv.org/abs/2107.03242v1
- Date: Wed, 7 Jul 2021 14:15:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-08 19:26:33.437361
- Title: Robustifying Multi-hop QA through Pseudo-Evidentiality Training
- Title(参考訳): Pseudo-Evidentiality TrainingによるマルチホップQAのロバスト化
- Authors: Kyungjae Lee, Seung-won Hwang, Sang-eun Han and Dohyeon Lee
- Abstract要約: 本研究では,正解法を使わずに正しい解答を行うマルチホップ質問応答モデルのバイアス問題について検討する。
そこで本稿では, 正解が正しい証拠によって裏付けられるかどうかを判断し, 明解性を学習するための新しい手法を提案する。
- 参考スコア(独自算出の注目度): 28.584236042324896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper studies the bias problem of multi-hop question answering models,
of answering correctly without correct reasoning. One way to robustify these
models is by supervising to not only answer right, but also with right
reasoning chains. An existing direction is to annotate reasoning chains to
train models, requiring expensive additional annotations. In contrast, we
propose a new approach to learn evidentiality, deciding whether the answer
prediction is supported by correct evidences, without such annotations.
Instead, we compare counterfactual changes in answer confidence with and
without evidence sentences, to generate "pseudo-evidentiality" annotations. We
validate our proposed model on an original set and challenge set in HotpotQA,
showing that our method is accurate and robust in multi-hop reasoning.
- Abstract(参考訳): 本稿では,正解法を使わずに正解するマルチホップ質問応答モデルのバイアス問題について検討する。
これらのモデルを堅牢化するひとつの方法は、正しい答えだけでなく、正しい推論チェーンで答えることである。
既存の方向はモデルに推論チェーンをアノテートし、高価な追加アノテーションを必要とする。
これとは対照的に,このようなアノテーションを使わずに,解答予測が正しい証拠によって支えられているかどうかを判断する新たなアプローチを提案する。
代わりに、証拠文の有無に関わらず、反事実的な回答信頼の変化を比較して「実証的」な注釈を生成する。
提案手法は,HotpotQAにおける元の集合とチャレンジセットに基づいて検証し,マルチホップ推論において正確かつ堅牢であることを示す。
関連論文リスト
- HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale
Supervision [118.0818807474809]
本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。
提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
論文 参考訳(メタデータ) (2023-05-23T16:53:49Z) - Entailer: Answering Questions with Faithful and Truthful Chains of
Reasoning [26.715242799194908]
質問応答システムは、体系的な推論の連鎖を通して、その答えが自身の内的信念によってどのように示唆されるかを示す。
我々のアプローチは、トレーニングされた後方チェーンモデルで、回答仮説を含む一連の前提を生成することができ、モデル自体がそれらの前提を信じることを確認する検証器を組み合わせることです。
私たちの知る限りでは、これは多段階連鎖を生成できる最初のシステムであり、それは忠実であり(その答えは推論から従う)、真実である(連鎖はシステムの内部の信念を反映している)。
論文 参考訳(メタデータ) (2022-10-21T19:51:56Z) - Understanding and Improving Zero-shot Multi-hop Reasoning in Generative
Question Answering [85.79940770146557]
マルチホップ質問を複数の単一ホップ質問に分解する。
これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。
シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
論文 参考訳(メタデータ) (2022-10-09T11:48:07Z) - Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。
我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
論文 参考訳(メタデータ) (2022-10-07T06:50:23Z) - Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question
Answering [71.49131159045811]
マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。
既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。
そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-22T13:24:25Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Reasoning Chain Based Adversarial Attack for Multi-hop Question
Answering [0.0]
以前の敵攻撃は通常、質問文全体を編集する。
マルチホップ推論チェーンに基づく逆攻撃手法を提案する。
その結果,回答と事実予測の双方において,大幅な性能低下が認められた。
論文 参考訳(メタデータ) (2021-12-17T18:03:14Z) - Distantly-Supervised Evidence Retrieval Enables Question Answering
without Evidence Annotation [19.551623461082617]
オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。
本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。
我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
論文 参考訳(メタデータ) (2021-10-10T20:01:27Z) - Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。
提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
論文 参考訳(メタデータ) (2021-04-18T07:00:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。