論文の概要: Robustifying Multi-hop QA through Pseudo-Evidentiality Training

• arxiv url: http://arxiv.org/abs/2107.03242v1
• Date: Wed, 7 Jul 2021 14:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-08 19:26:33.437361
• Title: Robustifying Multi-hop QA through Pseudo-Evidentiality Training
• Title（参考訳）: Pseudo-Evidentiality TrainingによるマルチホップQAのロバスト化
• Authors: Kyungjae Lee, Seung-won Hwang, Sang-eun Han and Dohyeon Lee
• Abstract要約: 本研究では,正解法を使わずに正しい解答を行うマルチホップ質問応答モデルのバイアス問題について検討する。 そこで本稿では, 正解が正しい証拠によって裏付けられるかどうかを判断し, 明解性を学習するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 28.584236042324896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the bias problem of multi-hop question answering models, of answering correctly without correct reasoning. One way to robustify these models is by supervising to not only answer right, but also with right reasoning chains. An existing direction is to annotate reasoning chains to train models, requiring expensive additional annotations. In contrast, we propose a new approach to learn evidentiality, deciding whether the answer prediction is supported by correct evidences, without such annotations. Instead, we compare counterfactual changes in answer confidence with and without evidence sentences, to generate "pseudo-evidentiality" annotations. We validate our proposed model on an original set and challenge set in HotpotQA, showing that our method is accurate and robust in multi-hop reasoning.
• Abstract（参考訳）: 本稿では,正解法を使わずに正解するマルチホップ質問応答モデルのバイアス問題について検討する。 これらのモデルを堅牢化するひとつの方法は、正しい答えだけでなく、正しい推論チェーンで答えることである。 既存の方向はモデルに推論チェーンをアノテートし、高価な追加アノテーションを必要とする。 これとは対照的に,このようなアノテーションを使わずに,解答予測が正しい証拠によって支えられているかどうかを判断する新たなアプローチを提案する。 代わりに、証拠文の有無に関わらず、反事実的な回答信頼の変化を比較して「実証的」な注釈を生成する。 提案手法は,HotpotQAにおける元の集合とチャレンジセットに基づいて検証し,マルチホップ推論において正確かつ堅牢であることを示す。

関連論文リスト

• Chain-of-Probe: Examing the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision [118.0818807474809]
  本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。 提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
  論文  参考訳（メタデータ） (2023-05-23T16:53:49Z)
• Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering [85.79940770146557]
  マルチホップ質問を複数の単一ホップ質問に分解する。 これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。 シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
  論文  参考訳（メタデータ） (2022-10-09T11:48:07Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Reasoning Chain Based Adversarial Attack for Multi-hop Question Answering [0.0]
  以前の敵攻撃は通常、質問文全体を編集する。 マルチホップ推論チェーンに基づく逆攻撃手法を提案する。 その結果,回答と事実予測の双方において,大幅な性能低下が認められた。
  論文  参考訳（メタデータ） (2021-12-17T18:03:14Z)
• Distantly-Supervised Evidence Retrieval Enables Question Answering without Evidence Annotation [19.551623461082617]
  オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。 本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。 我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
  論文  参考訳（メタデータ） (2021-10-10T20:01:27Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。