論文の概要: Generating Label Cohesive and Well-Formed Adversarial Claims

• arxiv url: http://arxiv.org/abs/2009.08205v1
• Date: Thu, 17 Sep 2020 10:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 08:27:13.821661
• Title: Generating Label Cohesive and Well-Formed Adversarial Claims
• Title（参考訳）: ラベル粘着性およびよく形成した対数クレームの生成
• Authors: Pepa Atanasova, Dustin Wright, and Isabelle Augenstein
• Abstract要約: 敵攻撃は、訓練されたモデルの重大な脆弱性と欠陥を明らかにする。 本研究は,真理を保存した事実チェックシステムに対して,敵対的な攻撃を発生させる方法について検討する。 生成した攻撃は, クレームの方向性と意味的妥当性を, 従来よりも良好に維持していることがわかった。
• 参考スコア（独自算出の注目度）: 44.29895319592488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial attacks reveal important vulnerabilities and flaws of trained models. One potent type of attack are universal adversarial triggers, which are individual n-grams that, when appended to instances of a class under attack, can trick a model into predicting a target class. However, for inference tasks such as fact checking, these triggers often inadvertently invert the meaning of instances they are inserted in. In addition, such attacks produce semantically nonsensical inputs, as they simply concatenate triggers to existing samples. Here, we investigate how to generate adversarial attacks against fact checking systems that preserve the ground truth meaning and are semantically valid. We extend the HotFlip attack algorithm used for universal trigger generation by jointly minimising the target class loss of a fact checking model and the entailment class loss of an auxiliary natural language inference model. We then train a conditional language model to generate semantically valid statements, which include the found universal triggers. We find that the generated attacks maintain the directionality and semantic validity of the claim better than previous work.
• Abstract（参考訳）: 敵攻撃は、訓練されたモデルの重大な脆弱性と欠陥を明らかにする。 これは個々のn-gramであり、攻撃中のクラスのインスタンスに付加されると、モデルを騙してターゲットクラスを予測することができる。 しかし、ファクトチェックのような推論タスクでは、これらのトリガーは挿入されるインスタンスの意味を意図せずに反転させることが多い。 さらに、このような攻撃は、既存のサンプルにトリガーを結合させるため、意味的に非意味な入力を生成する。 本稿では,真理の意味を保存し,意味的に有効な事実チェックシステムに対する敵意攻撃を発生させる方法について検討する。 本稿では,ファクトチェックモデルの目標クラス損失と補助自然言語推論モデルの含意クラス損失を最小化することにより,ユニバーサルトリガ生成に使用されるHotFlip攻撃アルゴリズムを拡張した。 次に条件付き言語モデルをトレーニングして、見つけたユニバーサルトリガーを含む意味的に有効なステートメントを生成する。 生成した攻撃は, クレームの方向性と意味的妥当性を従来よりも向上させる。

関連論文リスト

• Defense Against Syntactic Textual Backdoor Attacks with Token Substitution [15.496176148454849]
  トレーニング段階では、慎重に選択されたトリガを犠牲者モデルに組み込んで、特定のクラスと同じトリガを含む入力を誤って予測する。 本稿では,構文ベースと特別なトークンベースのバックドア攻撃を効果的に対処する新しいオンライン防御アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:48:57Z)
• Query-Based Adversarial Prompt Generation [67.238873588125]
  我々は、アライメント言語モデルが有害な文字列を出力する原因となる敵の例を構築します。 GPT-3.5とOpenAIの安全分類器に対する攻撃を検証する。
  論文  参考訳（メタデータ） (2024-02-19T18:01:36Z)
• Adversarial Attacks are a Surprisingly Strong Baseline for Poisoning Few-Shot Meta-Learners [28.468089304148453]
  これにより、システムの学習アルゴリズムを騙すような、衝突する入力セットを作れます。 ホワイトボックス環境では、これらの攻撃は非常に成功しており、ターゲットモデルの予測が偶然よりも悪化する可能性があることを示す。 攻撃による「過度な対応」と、攻撃が生成されたモデルと攻撃が転送されたモデルとのミスマッチという2つの仮説を探索する。
  論文  参考訳（メタデータ） (2022-11-23T14:55:44Z)
• Exploring the Universal Vulnerability of Prompt-based Learning Paradigm [21.113683206722207]
  素早い学習は、事前学習と微調整のギャップを埋め、数ショット設定で効果的に機能することを発見した。 しかし、この学習パラダイムは、特定のトリガをテキストに挿入することで、モデル予測が誤解されるような事前学習段階から脆弱性を継承することがわかった。 バックドアトリガを注入するか,あるいはプレーンテキストのみを用いて事前学習した言語モデル上での逆トリガを検索することにより,この普遍的な脆弱性を探究する。
  論文  参考訳（メタデータ） (2022-04-11T16:34:10Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• Poisoned classifiers are not only backdoored, they are fundamentally broken [84.67778403778442]
  一般的に研究されている、分類モデルに対するバックドア中毒攻撃の下で、攻撃者はトレーニングデータのサブセットに小さなトリガーを追加する。 毒を盛った分類器は、引き金を持つ敵のみに弱いと推定されることが多い。 本稿では,このバックドア型分類器の考え方が誤りであることを実証的に示す。
  論文  参考訳（メタデータ） (2020-10-18T19:42:44Z)
• Universal Adversarial Attacks with Natural Triggers for Text Classification [30.74579821832117]
  我々は、自然の英語のフレーズに近づきながら、分類システムを混乱させる敵攻撃を開発する。 我々の攻撃は、従来のモデルよりも識別が困難でありながら、分類タスクのモデル精度を効果的に低下させる。
  論文  参考訳（メタデータ） (2020-05-01T01:58:24Z)
• Adversarial Imitation Attack [63.76805962712481]
  現実的な敵攻撃は、攻撃されたモデルの知識をできるだけ少なくする必要がある。 現在の代替攻撃では、敵の例を生成するために事前訓練されたモデルが必要である。 本研究では,新たな敵模倣攻撃を提案する。
  論文  参考訳（メタデータ） (2020-03-28T10:02:49Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。