論文の概要: Reasoning Chain Based Adversarial Attack for Multi-hop Question Answering

• arxiv url: http://arxiv.org/abs/2112.09658v1
• Date: Fri, 17 Dec 2021 18:03:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 16:09:57.301998
• Title: Reasoning Chain Based Adversarial Attack for Multi-hop Question Answering
• Title（参考訳）: 推論連鎖に基づくマルチホップ質問応答に対する逆攻撃
• Authors: Jiayu Ding (1), Siyuan Wang (1), Qin Chen (2), Zhongyu Wei (1) ((1) Fudan University, (2) East China Normal University)
• Abstract要約: 以前の敵攻撃は通常、質問文全体を編集する。 マルチホップ推論チェーンに基づく逆攻撃手法を提案する。 その結果,回答と事実予測の双方において,大幅な性能低下が認められた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed impressive advances in challenging multi-hop QA tasks. However, these QA models may fail when faced with some disturbance in the input text and their interpretability for conducting multi-hop reasoning remains uncertain. Previous adversarial attack works usually edit the whole question sentence, which has limited effect on testing the entity-based multi-hop inference ability. In this paper, we propose a multi-hop reasoning chain based adversarial attack method. We formulate the multi-hop reasoning chains starting from the query entity to the answer entity in the constructed graph, which allows us to align the question to each reasoning hop and thus attack any hop. We categorize the questions into different reasoning types and adversarially modify part of the question corresponding to the selected reasoning hop to generate the distracting sentence. We test our adversarial scheme on three QA models on HotpotQA dataset. The results demonstrate significant performance reduction on both answer and supporting facts prediction, verifying the effectiveness of our reasoning chain based attack method for multi-hop reasoning models and the vulnerability of them. Our adversarial re-training further improves the performance and robustness of these models.
• Abstract（参考訳）: 近年、マルチホップQAタスクへの挑戦が目覚ましい進歩を見せている。 しかし、これらのQAモデルは入力テキストの何らかの乱れに直面して失敗する可能性があり、マルチホップ推論を行うための解釈性はまだ不明である。 従来の敵攻撃は通常、質問文全体を編集するが、これはエンティティベースのマルチホップ推論能力のテストに限定的な影響を及ぼす。 本稿では,マルチホップ推論チェーンに基づく逆攻撃手法を提案する。 クエリーエンティティから構築されたグラフの応答エンティティに始まるマルチホップ推論チェーンを定式化し、各推論ホップに質問を合わせることで、任意のホップを攻撃できるようにします。 質問を異なる推論タイプに分類し、選択した推論ホップに対応する質問の一部を逆修正し、気を散らす文を生成する。 本稿では,HotpotQAデータセット上の3つのQAモデルに対して,敵対的スキームをテストする。 提案手法は,マルチホップ推論モデルに対する推論連鎖に基づく攻撃手法の有効性と脆弱性を検証し,回答予測と事象予測の両方において有意な性能低下を示した。 我々の対戦型再訓練はこれらのモデルの性能と堅牢性をさらに向上させる。

関連論文リスト

• TASA: Deceiving Question Answering Models by Twin Answer Sentences Attack [93.50174324435321]
  本稿では,質問応答(QA)モデルに対する敵対的攻撃手法であるTASA(Twin Answer Sentences Attack)を提案する。 TASAは、金の回答を維持しながら、流動的で文法的な逆境を生み出す。
  論文  参考訳（メタデータ） (2022-10-27T07:16:30Z)
• Counterfactual Multihop QA: A Cause-Effect Approach for Reducing Disconnected Reasoning [5.343815893782489]
  マルチホップQAでは、質問に答えるために複数のサポート事実を推論する必要がある。 本稿では, 因果効果を低減し, 因果効果を低減できる新しいマルチホップQAを提案する。 本手法は,真のマルチホップ推論により,HotpotQA上でのSupp$_s$スコアの5.8%高得点を達成する。
  論文  参考訳（メタデータ） (2022-10-13T16:21:53Z)
• Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering [85.79940770146557]
  マルチホップ質問を複数の単一ホップ質問に分解する。 これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。 シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
  論文  参考訳（メタデータ） (2022-10-09T11:48:07Z)
• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering [71.49131159045811]
  マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。 既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。 そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:24:25Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Robustifying Multi-hop QA through Pseudo-Evidentiality Training [28.584236042324896]
  本研究では,正解法を使わずに正しい解答を行うマルチホップ質問応答モデルのバイアス問題について検討する。 そこで本稿では, 正解が正しい証拠によって裏付けられるかどうかを判断し, 明解性を学習するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-07-07T14:15:14Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。