論文の概要: Neutralizing Backdoors through Information Conflicts for Large Language Models

• arxiv url: http://arxiv.org/abs/2411.18280v1
• Date: Wed, 27 Nov 2024 12:15:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:14.557745
• Title: Neutralizing Backdoors through Information Conflicts for Large Language Models
• Title（参考訳）: 大規模言語モデルのための情報紛争によるバックドアの中立化
• Authors: Chen Chen, Yuchen Sun, Xueluan Gong, Jiaxin Gao, Kwok-Yan Lam,
• Abstract要約: 大規模言語モデル(LLM)からバックドアの挙動を除去する新しい手法を提案する。 軽量なデータセットを使用してコンフリクトモデルをトレーニングし、バックドアモデルとマージして悪意のある振る舞いを中和します。 我々は、90%以上のクリーンデータ精度を維持しながら、高度なバックドア攻撃の攻撃成功率を最大98%削減することができる。
• 参考スコア（独自算出の注目度）: 20.6331157117675
• License:
• Abstract: Large language models (LLMs) have seen significant advancements, achieving superior performance in various Natural Language Processing (NLP) tasks, from understanding to reasoning. However, they remain vulnerable to backdoor attacks, where models behave normally for standard queries but generate harmful responses or unintended output when specific triggers are activated. Existing backdoor defenses often suffer from drawbacks that they either focus on detection without removal, rely on rigid assumptions about trigger properties, or prove to be ineffective against advanced attacks like multi-trigger backdoors. In this paper, we present a novel method to eliminate backdoor behaviors from LLMs through the construction of information conflicts using both internal and external mechanisms. Internally, we leverage a lightweight dataset to train a conflict model, which is then merged with the backdoored model to neutralize malicious behaviors by embedding contradictory information within the model's parametric memory. Externally, we incorporate convincing contradictory evidence into the prompt to challenge the model's internal backdoor knowledge. Experimental results on classification and conversational tasks across 4 widely used LLMs demonstrate that our method outperforms 8 state-of-the-art backdoor defense baselines. We can reduce the attack success rate of advanced backdoor attacks by up to 98% while maintaining over 90% clean data accuracy. Furthermore, our method has proven to be robust against adaptive backdoor attacks. The code will be open-sourced upon publication.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、理解から推論に至るまで、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを達成している。 しかし、標準的なクエリではモデルが正常に動作するが、特定のトリガがアクティブになると有害な応答や意図しないアウトプットが発生するため、バックドア攻撃には弱いままである。 既存のバックドア防御は、除去せずに検出に焦点を当てたり、トリガー特性に関する厳格な仮定に依存したり、マルチトリガーバックドアのような先進的な攻撃に対して効果がないという欠点に悩まされることが多い。 本稿では,内部機構と外部機構の両方を用いた情報紛争構築を通じて,LCMのバックドア動作を除去する新しい手法を提案する。 内部的には、軽量なデータセットを活用してコンフリクトモデルをトレーニングし、その後バックドアモデルとマージして、モデルのパラメトリックメモリに矛盾する情報を埋め込むことで悪意のある振る舞いを中和する。 外部では、モデルの内部のバックドア知識に挑戦する動機として、説得力のある矛盾する証拠を取り入れている。 4つの LLM の分類と会話タスクに関する実験結果から,本手法は8つの最先端のバックドア防御基準よりも優れていることが示された。 我々は、90%以上のクリーンデータ精度を維持しながら、高度なバックドア攻撃の攻撃成功率を最大98%削減することができる。 さらに,本手法はアダプティブバックドア攻撃に対して堅牢であることが証明された。 コードは公開時にオープンソース化される。

関連論文リスト

• CROW: Eliminating Backdoors from Large Language Models via Internal Consistency Regularization [7.282200564983221]
  大規模言語モデル(LLM)は、バックドア攻撃の影響を受けやすい。 バックドアトリガによる階層的不整合に対処するために、内部一貫性規則化(CROW)を導入する。 CROWは、さまざまなバックドア戦略やタスクにおける攻撃成功率の大幅な削減を一貫して達成している。
  論文  参考訳（メタデータ） (2024-11-18T07:52:12Z)
• Unlearn to Relearn Backdoors: Deferred Backdoor Functionality Attacks on Deep Learning Models [6.937795040660591]
  バックドア攻撃の新たなパラダイムとして,Deferred Activated Backdoor Functionality (DABF)を紹介した。 従来の攻撃とは異なり、DABFは当初バックドアを隠蔽し、起動しても良質な出力を生成する。 DABF攻撃は、マシンラーニングモデルのライフサイクルで一般的なプラクティスを利用して、モデル更新と初期デプロイ後の微調整を実行する。
  論文  参考訳（メタデータ） (2024-11-10T07:01:53Z)
• Expose Before You Defend: Unifying and Enhancing Backdoor Defenses via Exposed Models [68.40324627475499]
  本稿では,Expose Before You Defendという新しい2段階防衛フレームワークを紹介する。 EBYDは既存のバックドア防御手法を総合防衛システムに統合し、性能を向上する。 2つの視覚データセットと4つの言語データセットにまたがる10のイメージアタックと6つのテキストアタックに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-10-25T09:36:04Z)
• Rethinking Backdoor Detection Evaluation for Language Models [45.34806299803778]
  バックドア攻撃は、公開された言語モデルに依存する実践者にとって大きなセキュリティリスクをもたらす。 バックドア検出方法は、リリースされたモデルにバックドアが含まれているかどうかを検出することを目的としている。 既存のバックドア検出手法は標準ベンチマークでバックドアモデルを検出するのに高い精度を持っているが、野生のバックドアを堅牢に識別できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-08-31T09:19:39Z)
• Diff-Cleanse: Identifying and Mitigating Backdoor Attacks in Diffusion Models [3.134071086568745]
  拡散モデル(DM)は、今日では最も先進的な生成モデルの一つと見なされている。 近年の研究では、DMはバックドア攻撃に弱いことが示唆されている。 この脆弱性は、モデル所有者に評判を害するなど、重大なリスクをもたらす。 Diff-Cleanseは、DM用に特別に設計された2段階のバックドア防御フレームワークである。
  論文  参考訳（メタデータ） (2024-07-31T03:54:41Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
  データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。 本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。 PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:52:26Z)
• A Survey on Backdoor Attack and Defense in Natural Language Processing [18.29835890570319]
  NLP分野におけるバックドア攻撃と防御の総合的な検討を行う。 ベンチマークデータセットを要約し、バックドア攻撃を防ぐために信頼できるシステムを設計するためのオープンな問題を指摘した。
  論文  参考訳（メタデータ） (2022-11-22T02:35:12Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Backdoor Learning: A Survey [75.59571756777342]
  バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む バックドア学習は、急速に成長する研究分野である。 本稿では,この領域を包括的に調査する。
  論文  参考訳（メタデータ） (2020-07-17T04:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。