論文の概要: A Study of the Attention Abnormality in Trojaned BERTs

• arxiv url: http://arxiv.org/abs/2205.08305v1
• Date: Fri, 13 May 2022 16:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 13:09:30.967807
• Title: A Study of the Attention Abnormality in Trojaned BERTs
• Title（参考訳）: トロイの木馬BERTの注意異常に関する研究
• Authors: Weimin Lyu, Songzhu Zheng, Tengfei Ma, Chao Chen
• Abstract要約: トロイアの攻撃は深刻な安全保障上の懸念を引き起こす。 トロイの木馬模型の注目焦点ドリフト挙動を観察する。 我々は、トロイの木馬モデルとクリーンなものを区別するための注意に基づくトロイの木馬検出器を提案する。
• 参考スコア（独自算出の注目度）: 12.623010398576067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trojan attacks raise serious security concerns. In this paper, we investigate the underlying mechanism of Trojaned BERT models. We observe the attention focus drifting behavior of Trojaned models, i.e., when encountering an poisoned input, the trigger token hijacks the attention focus regardless of the context. We provide a thorough qualitative and quantitative analysis of this phenomenon, revealing insights into the Trojan mechanism. Based on the observation, we propose an attention-based Trojan detector to distinguish Trojaned models from clean ones. To the best of our knowledge, this is the first paper to analyze the Trojan mechanism and to develop a Trojan detector based on the transformer's attention.
• Abstract（参考訳）: トロイの木馬の攻撃は深刻なセキュリティ上の懸念を引き起こす。 本稿では,Trojaned BERTモデルの基礎メカニズムについて検討する。 我々は,トロイの木馬模型の注意焦点漂流挙動,すなわち有毒な入力に遭遇した場合,トリガートークンは文脈に関係なく注意焦点をハイジャックする。 我々はこの現象を定性的かつ定量的に分析し、トロイの木馬機構に関する洞察を明らかにする。 この観察に基づいて, トロイの木馬モデルとクリーンモデルとを区別するための注意に基づくトロイの木馬検出器を提案する。 我々の知る限りでは、この論文はトロイの木馬機構を分析し、トランスフォーマーの注意に基づくトロイの木馬検出器を開発する最初の論文である。

関連論文リスト

• Analyzing Multi-Head Attention on Trojan BERT Models [2.465689259704613]
  本稿では,トランスフォーマーモデルにおけるマルチヘッドアテンションの挙動について検討し,特に感情分析の文脈における良性モデルとトロイの木馬モデルの違いに着目した。 本研究では,トロイの木馬とベニグニグニグニグニグニグナグニグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグナグ
  論文  参考訳（メタデータ） (2024-06-12T06:43:59Z)
• Attention-Enhancing Backdoor Attacks Against BERT-based Models [54.070555070629105]
  バックドア攻撃の戦略を調べることは、モデルの脆弱性を理解するのに役立つだろう。 本稿では,注意パターンを直接操作することでトロイの木馬行動を向上させる新しいトロイの木馬注意損失(TAL)を提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:24:56Z)
• Attention Hijacking in Trojan Transformers [68.04317938014067]
  トロイの木馬攻撃はAIシステムに深刻な脅威をもたらす。 トランスフォーマーモデルに関する最近の研究は爆発的な人気を得た。 BERT と ViT の注意機構を通してトロヤ群を明らかにすることは可能か?
  論文  参考訳（メタデータ） (2022-08-09T04:05:04Z)
• Game of Trojans: A Submodular Byzantine Approach [9.512062990461212]
  本稿では,敵の能力と敵と検出機構の戦略的相互作用の分析的特徴について述べる。 サブモジュラートロイの木馬アルゴリズムを用いて,トロイの木馬のトリガを注入するサンプルを最小限に決定する。 対戦相手が確率1でゲームに勝つことを示し、検出をバイパスする。
  論文  参考訳（メタデータ） (2022-07-13T03:12:26Z)
• Towards Effective and Robust Neural Trojan Defenses via Input Filtering [67.01177442955522]
  ディープ・ニューラルネットワークに対するトロイの木馬の攻撃は危険で残酷だ。 過去数年間、Trojan攻撃は単純なトリガーのみを使用し、1つのクラスのみをターゲットとすることから、多くの高度なトリガーを使い、複数のクラスをターゲットにしている。 ほとんどの防衛手法は依然としてトロイの木馬の引き金や標的クラスについて正確な仮定をしているため、現代のトロイの木馬攻撃によって容易に回避できる。
  論文  参考訳（メタデータ） (2022-02-24T15:41:37Z)
• Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases [87.69818690239627]
  本稿では,データスカース方式におけるトロイの木馬ネットワーク(トロイの木馬網)検出の問題点について検討する。 本稿では,データ限定型TrojanNet検出器(TND)を提案する。 さらに,データサンプルにアクセスせずにTrojanNetを検出できるデータフリーTNDを提案する。
  論文  参考訳（メタデータ） (2020-07-31T02:00:38Z)
• Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
  トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。 既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。 そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
  論文  参考訳（メタデータ） (2020-07-16T06:55:00Z)
• An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks [59.42357806777537]
  トロイの木馬攻撃は、ハッカーが挿入した隠れトリガーパターンに依存する、デプロイされたディープニューラルネットワーク(DNN)を攻撃することを目的としている。 そこで本研究では,有毒データセットの再学習モデルによりトロイの木馬の挙動を注入する,従来と異なる学習自由攻撃手法を提案する。 提案したTrojanNetには,(1)小さなトリガパターンによって起動し,他の信号に対してサイレントを維持する,(2)モデルに依存しない,ほとんどのDNNに注入可能な,(3)攻撃シナリオを劇的に拡張する,(3)訓練不要のメカニズムは従来のトロイの木馬攻撃方法と比較して大規模なトレーニング作業の削減など,いくつかの優れた特性がある。
  論文  参考訳（メタデータ） (2020-06-15T04:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。