論文の概要: Improving the Robustness of Transformer-based Large Language Models with Dynamic Attention

• arxiv url: http://arxiv.org/abs/2311.17400v2
• Date: Thu, 30 Nov 2023 02:08:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 12:25:54.668891
• Title: Improving the Robustness of Transformer-based Large Language Models with Dynamic Attention
• Title（参考訳）: 動的注意による変圧器型大規模言語モデルのロバスト性向上
• Authors: Lujia Shen, Yuwen Pu, Shouling Ji, Changjiang Li, Xuhong Zhang, Chunpeng Ge and Ting Wang
• Abstract要約: BERTやGPTといったトランスフォーマーベースのモデルは、自然言語処理(NLP)において広く採用されている。 近年の研究では、テキスト入力を意図的に操作することで、モデルの出力を誤認できるような、テキストの敵対攻撃に対する脆弱性が示されている。 本稿では,トランスアーキテクチャに適した動的アテンション(動的アテンション)と呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 43.95101492654236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based models, such as BERT and GPT, have been widely adopted in natural language processing (NLP) due to their exceptional performance. However, recent studies show their vulnerability to textual adversarial attacks where the model's output can be misled by intentionally manipulating the text inputs. Despite various methods that have been proposed to enhance the model's robustness and mitigate this vulnerability, many require heavy consumption resources (e.g., adversarial training) or only provide limited protection (e.g., defensive dropout). In this paper, we propose a novel method called dynamic attention, tailored for the transformer architecture, to enhance the inherent robustness of the model itself against various adversarial attacks. Our method requires no downstream task knowledge and does not incur additional costs. The proposed dynamic attention consists of two modules: (I) attention rectification, which masks or weakens the attention value of the chosen tokens, and (ii) dynamic modeling, which dynamically builds the set of candidate tokens. Extensive experiments demonstrate that dynamic attention significantly mitigates the impact of adversarial attacks, improving up to 33\% better performance than previous methods against widely-used adversarial attacks. The model-level design of dynamic attention enables it to be easily combined with other defense methods (e.g., adversarial training) to further enhance the model's robustness. Furthermore, we demonstrate that dynamic attention preserves the state-of-the-art robustness space of the original model compared to other dynamic modeling methods.
• Abstract（参考訳）: BERTやGPTといったトランスフォーマーベースのモデルは、自然言語処理(NLP)において非常に優れた性能で広く採用されている。 しかし、最近の研究では、テキスト入力を意図的に操作することで、モデルの出力を誤認できるような、テキスト敵対攻撃に対する脆弱性が示されている。 モデルの堅牢性を高め、この脆弱性を軽減するための様々な方法が提案されているが、多くは重い消費資源(例えば、敵の訓練)を必要とするか、限られた保護(例えば、防御的なドロップアウト)しか提供しない。 本稿では,トランスアーキテクチャに適した動的アテンション(動的アテンション)と呼ばれる新しい手法を提案する。 我々の方法は下流のタスク知識を必要とせず、追加コストを発生させない。 提案した動的アテンションは, (I) 選択したトークンのアテンション値を隠蔽または弱めるアテンション修正, (II) 動的モデリング, (II) 候補トークンの集合を動的に構築する2つのモジュールから構成される。 広汎な実験により、動的注意が敵攻撃の影響を著しく軽減し、従来手法よりも33倍の性能を向上させることが示されている。 ダイナミックアテンションのモデルレベルの設計により、他の防御手法(例えば、敵の訓練)と容易に組み合わせてモデルの堅牢性を高めることができる。 さらに、他の動的モデリング手法と比較して、動的アテンションは元のモデルの最先端のロバスト性空間を保っていることを示す。

関連論文リスト

• QuantAttack: Exploiting Dynamic Quantization to Attack Vision Transformers [29.957089564635083]
  我々は、量子化されたモデルの可用性を目標とする、新しい攻撃であるQuantAttackを紹介する。 オペレーティングシステムのリソースを無駄にするために設計された、慎重に構築された敵の例は、最悪のパフォーマンスを引き起こす可能性があることを示す。
  論文  参考訳（メタデータ） (2023-12-03T18:31:19Z)
• Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets [46.19529338280716]
  言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。 入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。 複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-15T02:59:10Z)
• Introducing Foundation Models as Surrogate Models: Advancing Towards More Practical Adversarial Attacks [15.882687207499373]
  箱なしの敵攻撃は、AIシステムにとってより実用的で難しいものになりつつある。 本稿では,サロゲートモデルとして基礎モデルを導入することにより,逆攻撃を下流タスクとして再放送する。
  論文  参考訳（メタデータ） (2023-07-13T08:10:48Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
  本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。 シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T19:57:19Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Evaluating Deception Detection Model Robustness To Linguistic Variation [10.131671217810581]
  認知ニュース検出の設定における言語的変化に対するモデル堅牢性の解析を提案する。 2つの予測タスクを検討し,3つの最先端組込みを比較して,モデル性能の一貫した傾向を強調する。 キャラクタあるいは混合アンサンブルモデルが最も効果的な防御であり,キャラクタ摂動に基づく攻撃戦術がより成功していることがわかった。
  論文  参考訳（メタデータ） (2021-04-23T17:25:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。