論文の概要: Adversarial Attacks and Defense for Conversation Entailment Task

• arxiv url: http://arxiv.org/abs/2405.00289v1
• Date: Wed, 1 May 2024 02:49:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 16:37:17.258176
• Title: Adversarial Attacks and Defense for Conversation Entailment Task
• Title（参考訳）: 会話包摂課題に対する敵の攻撃と防御
• Authors: Zhenning Yang, Ryan Krawec, Liang-Yuan Wu,
• Abstract要約: モデルを守る方法が重要な問題になります。 我々の研究では、敵の攻撃結果をモデルの新たな(目に見えない)領域として扱う。 本稿では,モデルの堅牢性向上手法として,いくつかの微調整戦略を提案し,組込み摂動損失を提案する。
• 参考スコア（独自算出の注目度）: 0.49157446832511503
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) that are proved to be very powerful on different NLP tasks. However, there are still many ways to attack the model with very low costs. How to defend the model becomes an important problem. In our work, we treat adversarial attack results as a new (unseen) domain of the model, and we frame the defending problem into how to improve the robustness of the model on the new domain. We focus on the task of conversation entailment, where multi-turn natural language dialogues are the premise, and the transformer model is fine-tuned to predict whether a given hypothesis about the given dialogue is true or false. The adversary would attack the hypothesis to fool the model to make the wrong predictions. We apply synonym-swapping as the attack method. To show the robustness of the model, we implement some fine-tuning strategies and propose the embedding perturbation loss as a method to improve the robustness of the model. Finally, we show the importance of our work by discussing the adversarial attacks in NLP in the real world.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、異なるNLPタスクにおいて非常に強力であることが証明されている。 しかし、非常に低コストでモデルを攻撃するには、まだ多くの方法があります。 モデルを守る方法が重要な問題になります。 我々の研究では、敵の攻撃結果をモデルの新しい(目に見えない)ドメインとして扱い、新しいドメインにおけるモデルのロバスト性を改善する方法に防衛問題を組み込む。 本稿では,マルチターン自然言語対話が前提となる会話包摂作業に注目し,与えられた対話に関する仮説が真か偽かを予測するためにトランスフォーマーモデルを微調整する。 敵は仮説を攻撃し、モデルを騙して間違った予測をする。 攻撃手法として同義語スワッピングを適用した。 モデルのロバスト性を示すため、我々はいくつかの微調整戦略を実装し、モデルのロバスト性を改善する方法として埋め込み摂動損失を提案する。 最後に,実世界におけるNLPの敵対的攻撃について論じることによって,我々の研究の重要性を示す。

関連論文リスト

• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• Reformulation is All You Need: Addressing Malicious Text Features in DNNs [43.978490178352935]
  本稿では,敵攻撃とバックドア攻撃の両方に対して有効な,統一的かつ適応的な防御フレームワークを提案する。 我々のフレームワークは、様々な悪意あるテキスト機能において、既存のサンプル指向の防御基準よりも優れています。
  論文  参考訳（メタデータ） (2025-02-02T03:39:43Z)
• Defensive Dual Masking for Robust Adversarial Defense [5.932787778915417]
  本稿では,このような攻撃に対するモデルロバスト性を高めるための新しいアプローチであるDDMアルゴリズムを提案する。 DDMは, [MASK]トークンをトレーニングサンプルに戦略的に挿入し, 対向的摂動をより効果的に扱うためのモデルを作成する, 独自の対向的トレーニング戦略を採用している。 推論中、潜在的な敵トークンは、入力のコアセマンティクスを保持しながら潜在的な脅威を中和するために、動的に[MASK]トークンに置き換えられる。
  論文  参考訳（メタデータ） (2024-12-10T00:41:25Z)
• Chain of Attack: On the Robustness of Vision-Language Models Against Transfer-Based Adversarial Attacks [34.40254709148148]
  事前学習された視覚言語モデル(VLM)は、画像および自然言語理解において顕著な性能を示した。 彼らの潜在的な安全性と堅牢性の問題は、敵がシステムを回避し、悪意のある攻撃を通じて有害なコンテンツを生成することを懸念する。 本稿では,マルチモーダルなセマンティック・アップデートに基づいて,敵対的事例の生成を反復的に促進するアタック・チェーン(CoA)を提案する。
  論文  参考訳（メタデータ） (2024-11-24T05:28:07Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Fooling the Textual Fooler via Randomizing Latent Representations [13.77424820701913]
  敵語レベルの摂動はよく研究され効果的な攻撃戦略である。 本稿では、敵の例を生成する過程を複雑にすることを目的とする、軽量で攻撃に依存しない防御法を提案する。 本稿では,AdvFoolerの対人的単語レベル攻撃に対する最先端のロバスト性を実証的に示す。
  論文  参考訳（メタデータ） (2023-10-02T06:57:25Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Adversarial Attack and Defense of Structured Prediction Models [58.49290114755019]
  本論文では,NLPにおける構造化予測タスクに対する攻撃と防御について検討する。 構造化予測モデルの構造化出力は、入力中の小さな摂動に敏感である。 本稿では,シーケンス・ツー・シーケンス・モデルを用いて,構造化予測モデルへの攻撃を学習する,新規で統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-04T15:54:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。