論文の概要: Analyzing And Editing Inner Mechanisms Of Backdoored Language Models

• arxiv url: http://arxiv.org/abs/2302.12461v3
• Date: Sat, 4 May 2024 02:48:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 01:45:50.007054
• Title: Analyzing And Editing Inner Mechanisms Of Backdoored Language Models
• Title（参考訳）: バックドア言語モデルの内部メカニズムの解析と編集
• Authors: Max Lamparth, Anka Reuel,
• Abstract要約: データセットの課金は、バックドアモデルにつながる可能性のある大きな言語モデルに対する潜在的なセキュリティ上の脅威である。 本稿では,トランスを用いたバックドア言語モデルの内部表現について検討し,バックドア機構において最重要となる初期層モジュールについて検討する。 我々は,潜在的有毒データセットの微調整中に個々のモジュールを局所的に拘束することで,大規模言語モデルのバックドアロバスト性を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Poisoning of data sets is a potential security threat to large language models that can lead to backdoored models. A description of the internal mechanisms of backdoored language models and how they process trigger inputs, e.g., when switching to toxic language, has yet to be found. In this work, we study the internal representations of transformer-based backdoored language models and determine early-layer MLP modules as most important for the backdoor mechanism in combination with the initial embedding projection. We use this knowledge to remove, insert, and modify backdoor mechanisms with engineered replacements that reduce the MLP module outputs to essentials for the backdoor mechanism. To this end, we introduce PCP ablation, where we replace transformer modules with low-rank matrices based on the principal components of their activations. We demonstrate our results on backdoored toy, backdoored large, and non-backdoored open-source models. We show that we can improve the backdoor robustness of large language models by locally constraining individual modules during fine-tuning on potentially poisonous data sets. Trigger warning: Offensive language.
• Abstract（参考訳）: データセットの課金は、バックドアモデルにつながる可能性のある大きな言語モデルに対する潜在的なセキュリティ上の脅威である。 バックドア言語モデルの内部メカニズムと、それらがどのようにしてトリガー入力を処理するか、例えば、有毒な言語に切り替える際の説明はまだ見つかっていない。 そこで本研究では,トランスフォーマに基づくバックドア言語モデルの内部表現について検討し,初期階層のMLPモジュールを初期埋め込み投影と組み合わせてバックドア機構において最も重要なものとして決定する。 我々は、この知識を用いてバックドア機構の削除、挿入、修正を行い、MDPモジュールの出力をバックドア機構の必須要素に還元します。 この目的のために,PCPアブレーションを導入し,その活性化の主成分に基づいてトランスフォーマーモジュールを低ランク行列に置き換える。 バックドアのおもちゃ、バックドアの大型、非バックドアのオープンソースモデルでその結果を実証します。 我々は,潜在的有毒データセットの微調整中に個々のモジュールを局所的に拘束することで,大規模言語モデルのバックドアロバスト性を向上させることができることを示す。 Trigger 警告: 攻撃的な言語。

関連論文リスト

• Injecting Undetectable Backdoors in Deep Learning and Language Models [39.34881774508323]
  外部の専門家企業が開発したMLモデルにおいて,検出不能なバックドアによる脅威について検討する。 我々は、バックドアの存在がまだ検出不可能であることを保証しながら、ニューラルネットワークにバックドアを植える戦略を開発する。 我々は、ステガノグラフィー機能の存在に基づいて、ニューラルネットワークのバックドア攻撃をそのようなモデルに拡張する。
  論文  参考訳（メタデータ） (2024-06-09T06:26:21Z)
• Backdoor Removal for Generative Large Language Models [42.19147076519423]
  生成型大規模言語モデル(LLM)は、理解から推論まで、様々な自然言語処理(NLP)タスクを支配している。 悪意のある敵は、毒データをオンラインで公開し、毒データに基づいて事前訓練された被害者のLSMに対するバックドア攻撃を行うことができる。 生成LDMの不要なバックドアマッピングを除去するためにSANDE(Simulate and Eliminate)を提案する。
  論文  参考訳（メタデータ） (2024-05-13T11:53:42Z)
• A Transformer with Stack Attention [84.18399019794036]
  本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
  論文  参考訳（メタデータ） (2024-05-07T17:47:57Z)
• Mudjacking: Patching Backdoor Vulnerabilities in Foundation Models [55.038561766001514]
  ファンデーションモデルはバックドア攻撃に対して脆弱であり、バックドアのファンデーションモデルはAIエコシステムの単一障害点である。 バックドアを削除するために基礎モデルをパッチする最初の方法であるMudjackingを提案する。 この結果から,Mudjackingはその実用性を維持しつつ,基礎モデルからバックドアを除去できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-22T21:31:43Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• Training-free Lexical Backdoor Attacks on Language Models [30.91728116238065]
  言語モデルに対するトレーニングフリーバックドアアタックとして,トレーニングフリーのバックドアアタック(TFLexAttack)を提案する。 我々の攻撃は、埋め込み辞書を操作することで、言語モデルのトークン化子に語彙トリガーを注入することで達成される。 攻撃の有効性と普遍性を示すため,9つの言語モデルに基づく3つのNLPタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-02-08T15:18:51Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Neurotoxin: Durable Backdoors in Federated Learning [73.82725064553827]
  連合学習システムは バックドア攻撃の訓練中に 固有の脆弱性がある 我々は,既存のバックドア攻撃に対する単純な一直線修正であるニューロトキシンを提案する。
  論文  参考訳（メタデータ） (2022-06-12T16:52:52Z)
• Backdoor Pre-trained Models Can Transfer to All [33.720258110911274]
  そこで本研究では,トリガを含む入力を事前学習したNLPモデルの出力表現に直接マッピングする手法を提案する。 NLPにおけるトリガのユニークな特性を考慮して,バックドア攻撃の性能を測定するための2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2021-10-30T07:11:24Z)
• Turn the Combination Lock: Learnable Textual Backdoor Attacks via Word Substitution [57.51117978504175]
  最近の研究では、ニューラルネットワーク処理(NLP)モデルがバックドア攻撃に弱いことが示されている。 バックドアを注入すると、モデルは通常、良質な例で実行されるが、バックドアがアクティブになったときに攻撃者が特定した予測を生成する。 単語置換の学習可能な組み合わせによって活性化される見えないバックドアを提示する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。