論文の概要: Defense Against LLM Backdoors using Critical Neuron Isolation Pruning

• arxiv url: http://arxiv.org/abs/2607.19894v1
• Date: Wed, 22 Jul 2026 08:29:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.028166
• Title: Defense Against LLM Backdoors using Critical Neuron Isolation Pruning
• Title（参考訳）: 臨界ニューロン分離プルーニングによるLDMバックドアの防御
• Abstract要約: 大規模言語モデル(LLM)は、隠れたトリガーが悪意のある出力を誘導するバックドア攻撃に対して脆弱である。 既存の防御は、推論時検出またはトレーニング時緩和に該当するが、2つの重要な制限に直面している。 DeCNIP (Defense with critical Neuron isolated Pruning) は、クロスエントロピー損失を最適化することによりトリガーのような振る舞いを識別する。 その後、バックドアクリティカルニューロン(BCN)を分離し、悪意のある影響を取り除くために選択的にプーンする。
• 参考スコア（独自算出の注目度）: 29.131051732315157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are vulnerable to backdoor attacks, where hidden triggers induce malicious outputs. Existing defenses generally fall into inference-time detection or training-time mitigation, but face two key limitations. First, they focus on fine-tuning-based backdoors (e.g., PEFT modules) and fail to address insidious model-editing attacks that bypass training pipelines. Second, they target simple classification settings and do not naturally extend to open-ended LLM generation and do not naturally extend to the open-ended generation characteristics of LLMs. Consequently, these methods focus on surface-level behavioral patterns while neglecting the deeper representational causes of malicious activations. This lack of mechanistic understanding forces defenses to depend on empirical heuristics, limiting their robustness, generality, and practical applicability in real-world LLM deployment. To bridge this gap, we introduce DeCNIP (Defense with Critical Neuron Isolation Pruning), which leverages representational analysis to identify and neutralize backdoors in a unified pipeline. Specifically, DeCNIP identifies trigger-like behaviors by optimizing a cross-entropy loss between harmful prompts with candidate tokens and benign inputs. This representational discovery exposes latent threats by uncovering mechanisms through which triggers hijack model weights. It then isolates Backdoor Critical Neurons (BCNs) and prunes them selectively to remove malicious influence while preserving model utility. Extensive evaluations on six open-source LLMs and two benchmark datasets demonstrate that DeCNIP achieves over 95% relative reduction in Attack Success Rate (ASR), outperforming seven state-of-the-art defenses with only 0.1% neuron intervention. Moreover, it maintains 97% of the model's performance on normal benchmarks, demonstrating its efficacy, robustness, and scalability.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、隠れたトリガーが悪意のある出力を誘導するバックドア攻撃に対して脆弱である。 既存の防御は、一般的に推論時検出またはトレーニング時緩和に該当するが、2つの重要な制限に直面している。 まず、彼らは微調整ベースのバックドア(例えばPEFTモジュール)にフォーカスし、トレーニングパイプラインをバイパスする不安定なモデル編集攻撃に対処できない。 第2に、単純な分類設定を目標とし、自然にオープンエンドLLM生成に拡張せず、自然にLLMのオープンエンド生成特性に拡張しない。 その結果、これらの手法は、悪意あるアクティベーションのより深い表現原因を無視しながら、表面レベルの行動パターンに焦点を当てた。 この機械的理解の欠如により、防衛隊は経験的ヒューリスティックに頼らざるを得なくなり、実世界のLLM配備におけるその堅牢性、一般性、実践的適用性を制限した。 このギャップを埋めるために、我々はDeCNIP (Defense with critical Neuron isolated Pruning)を導入します。 特に、DeCNIPは、候補トークンと良性入力による有害なプロンプト間のクロスエントロピー損失を最適化することにより、トリガーライクな振る舞いを識別する。 この表現的発見は、ハイジャックモデル重みをトリガーするメカニズムを明らかにすることによって、潜伏する脅威を露呈する。 その後、バックドアクリティカルニューロン(BCN)を分離し、モデルユーティリティを保持しながら悪意のある影響を選択的に除去する。 6つのオープンソースLLMと2つのベンチマークデータセットの大規模な評価は、DeCNIPが95%以上のアタック成功率(ASR)を達成し、わずか0.1%の神経介入で7つの最先端の防御を達成していることを示している。 さらに、通常のベンチマークでモデルのパフォーマンスの97%を維持し、その有効性、堅牢性、スケーラビリティを示している。

関連論文リスト

• Self-Purification Mitigates Backdoors in Multimodal Diffusion Language Models [74.1970982768771]
  確立されたデータポゾンパイプラインは,MDLMにバックドアを埋め込むことに成功した。 拡散自己浄化(Diffusion Self-Purification)と呼ばれるMDLMのバックドア防御フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2026-02-24T15:47:52Z)
• SELF: A Robust Singular Value and Eigenvalue Approach for LLM Fingerprinting [4.335948336782789]
  本稿では,入力への依存を排除し,本質的に偽の主張に抵抗する本質的な重みに基づく指紋認証方式を提案する。 SELFは,1)LLM注目重みの特異値と固有値分解によるユニークな,スケーラブルかつ変換不変な指紋抽出,2)少数ショット学習とデータ拡張に基づく効果的なニューラルネットワークベースの指紋類似性比較という2つの重要なイノベーションを通じて,堅牢なIP保護を実現する。
  論文  参考訳（メタデータ） (2025-12-03T09:53:47Z)
• Backdoor Unlearning by Linear Task Decomposition [69.91984435094157]
  ファンデーションモデルは、敵の摂動と標的のバックドア攻撃に非常に敏感である。 既存のバックドア除去アプローチは、有害な振る舞いをオーバーライドするために、コストのかかる微調整に依存している。 このことは、バックドアがモデルの一般的な能力を損なうことなく取り除けるかどうかという問題を提起する。
  論文  参考訳（メタデータ） (2025-10-16T16:18:07Z)
• Lethe: Purifying Backdoored Large Language Models with Knowledge Dilution [49.78359632298156]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを達成し、大幅な進歩を遂げている。 標準クエリではモデルが正常に動作しますが、特定のトリガがアクティブになると、有害な応答や意図しない出力を生成します。 本稿では,LLMからのバックドアの挙動を知識希釈により除去する新しい手法LETHEを提案する。
  論文  参考訳（メタデータ） (2025-08-28T17:05:18Z)
• ICLShield: Exploring and Mitigating In-Context Learning Backdoor Attacks [61.06621533874629]
  In-context Learning (ICL)は、大規模言語モデル(LLM)において顕著な成功を収めた。 本稿では,LLMがタスク関連潜伏概念とバックドア関連潜伏概念の両方を同時に学習する,という二重学習仮説を初めて提案する。 そこで本研究では,概念選好比を動的に調整する防衛機構であるICLShieldを提案する。
  論文  参考訳（メタデータ） (2025-07-02T03:09:20Z)
• Neural Antidote: Class-Wise Prompt Tuning for Purifying Backdoors in CLIP [51.04452017089568]
  CBPT(Class-wise Backdoor Prompt Tuning)は、テキストプロンプトでCLIPを間接的に浄化する効率的な防御機構である。 CBPTは、モデルユーティリティを保持しながら、バックドアの脅威を著しく軽減する。
  論文  参考訳（メタデータ） (2025-02-26T16:25:15Z)
• CROW: Eliminating Backdoors from Large Language Models via Internal Consistency Regularization [7.282200564983221]
  大規模言語モデル(LLM)は、隠れたトリガーを介して出力を操作するバックドア攻撃に対して脆弱である。 本稿では,バックドアモデルがトリガ時に不安定な層単位の隠蔽表現を示すという観測を生かした内部一貫性規則化(CROW)を提案する。 CROWは、微調整やバックドアの中立化など、クリーンな参照モデルや知識のトリガを必要とせず、小さなクリーンなデータセットのみを使用して、レイヤ間の一貫性を強制する。
  論文  参考訳（メタデータ） (2024-11-18T07:52:12Z)
• Defending Code Language Models against Backdoor Attacks with Deceptive Cross-Entropy Loss [26.24490960002264]
  コード言語モデル(CLM)は、コードインテリジェンス領域において大きな成功を収めた。 セキュリティの問題、特にバックドア攻撃は、このプロセスでしばしば見過ごされる。 これまでの研究では、CLMのバックドア攻撃の設計に焦点が当てられていたが、効果的な防御は適切に対処されていない。
  論文  参考訳（メタデータ） (2024-07-12T03:18:38Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。