論文の概要: Deceiving Question-Answering Models: A Hybrid Word-Level Adversarial Approach

• arxiv url: http://arxiv.org/abs/2411.08248v1
• Date: Tue, 12 Nov 2024 23:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:12:06.132322
• Title: Deceiving Question-Answering Models: A Hybrid Word-Level Adversarial Approach
• Title（参考訳）: 質問応答モデルの決定:ハイブリッドワードレベル対応手法
• Authors: Jiyao Li, Mingze Ni, Yongshun Gong, Wei Liu,
• Abstract要約: 本稿では,QAモデルを騙す新しい単語レベル対逆戦略であるQA-Attackを紹介する。 我々のアテンションベースの攻撃は、特定の単語を識別・ターゲットするために、カスタマイズされたアテンション機構と削除ランキング戦略を利用する。 同義語を慎重に選択し置換し、文法的整合性を保ちながら、間違った反応を生み出すためにモデルを誤解させる。
• 参考スコア（独自算出の注目度）: 11.817276791266284
• License:
• Abstract: Deep learning underpins most of the currently advanced natural language processing (NLP) tasks such as textual classification, neural machine translation (NMT), abstractive summarization and question-answering (QA). However, the robustness of the models, particularly QA models, against adversarial attacks is a critical concern that remains insufficiently explored. This paper introduces QA-Attack (Question Answering Attack), a novel word-level adversarial strategy that fools QA models. Our attention-based attack exploits the customized attention mechanism and deletion ranking strategy to identify and target specific words within contextual passages. It creates deceptive inputs by carefully choosing and substituting synonyms, preserving grammatical integrity while misleading the model to produce incorrect responses. Our approach demonstrates versatility across various question types, particularly when dealing with extensive long textual inputs. Extensive experiments on multiple benchmark datasets demonstrate that QA-Attack successfully deceives baseline QA models and surpasses existing adversarial techniques regarding success rate, semantics changes, BLEU score, fluency and grammar error rate.
• Abstract（参考訳）: ディープラーニングは、テキスト分類、ニューラルマシン翻訳(NMT)、抽象的な要約、質問回答(QA)など、現在最先端の自然言語処理(NLP)タスクの大部分を支えている。 しかし、敵攻撃に対するモデル、特にQAモデルの堅牢性は、まだ十分に調査されていない重要な懸念である。 本稿では,QAモデルを騙す新しい単語レベル対逆戦略であるQA-Attack(Question Answering Attack)を紹介する。 我々のアテンションベースの攻撃は、カスタマイズされたアテンション機構と削除ランク戦略を利用して、コンテキストパス内の特定の単語を特定し、ターゲットとする。 同義語を慎重に選択し置換し、文法的整合性を保ちながら、間違った反応を生み出すためにモデルを誤解させる。 提案手法は,多種多様な質問タイプ,特に長い文章入力を扱う場合の多角性を示す。 複数のベンチマークデータセットに対する大規模な実験により、QA-AttackはベースラインのQAモデルを騙し、成功率、セマンティクスの変化、BLEUスコア、流布率、文法エラー率に関する既存の敵技術を上回ることが示されている。

関連論文リスト

• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Adapting Pre-trained Generative Models for Extractive Question Answering [4.993041970406846]
  本稿では、事前学習された生成モデルのパワーを用いて、抽出されたQAタスクに対処する新しいアプローチを提案する。 本稿では,既存の最先端モデルと比較して,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-06T09:01:02Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• TASA: Deceiving Question Answering Models by Twin Answer Sentences Attack [93.50174324435321]
  本稿では,質問応答(QA)モデルに対する敵対的攻撃手法であるTASA(Twin Answer Sentences Attack)を提案する。 TASAは、金の回答を維持しながら、流動的で文法的な逆境を生み出す。
  論文  参考訳（メタデータ） (2022-10-27T07:16:30Z)
• "That Is a Suspicious Reaction!": Interpreting Logits Variation to Detect NLP Adversarial Attacks [0.2999888908665659]
  敵攻撃は、現在の機械学習研究で直面する大きな課題である。 本研究は, 逆文例のモデルに依存しない検出法を提案する。
  論文  参考訳（メタデータ） (2022-04-10T09:24:41Z)
• How to Build Robust FAQ Chatbot with Controllable Question Generator? [5.680871239968297]
  本稿では, セマンティックグラフを用いて, 高い品質, 多様性, 制御可能なサンプルを生成する手法を提案する。 流動的でセマンティックに生成されたQAペアは、我々の通過検索モデルをうまく騙すことができる。 生成されたデータセットは、新しいターゲット領域へのQAモデルの一般化性を向上させる。
  論文  参考訳（メタデータ） (2021-11-18T12:54:07Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Learning from Lexical Perturbations for Consistent Visual Question Answering [78.21912474223926]
  既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。 本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。 VQA Perturbed Pairings (VQA P2) も提案する。
  論文  参考訳（メタデータ） (2020-11-26T17:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。