論文の概要: Removing the NEEDLE in the Haystack: Backdoor Removal in LLMs via Weight Orthogonalisation

• arxiv url: http://arxiv.org/abs/2610.00348v1
• Date: Tue, 29 Sep 2026 20:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.616023
• Title: Removing the NEEDLE in the Haystack: Backdoor Removal in LLMs via Weight Orthogonalisation
• Title（参考訳）: ヘイスタックにおけるNEEDLEの除去:軽量直交化によるLDMの後方除去
• Abstract要約: NEEDLEは、標的としたバックドア除去のためのトレーニング不要の方法である。 ニードルは、評価された防御の中で最も低い平均攻撃成功率(ASR)を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backdoor attacks can be implanted in Large Language Models (LLMs) during training, causing unwanted behaviour when a trigger appears in the input. Existing backdoor defences for LLMs attempt to remove the backdoor but inadvertently shift the model's output distribution to benign prompts, which can result in degraded model performance and safety. We propose NEEDLE, a training-free method for targeted backdoor removal. Once a trigger has been identified, our method estimates a backdoor direction and a refusal subspace through activation vectors, then applies sequential weight orthogonalisation to suppress the backdoor while preventing changes in refusal-related representations. NEEDLE requires neither a clean reference model nor the original poisoned training data. Evaluation is conducted across multiple model families and attack types. NEEDLE achieves the lowest mean Attack Success Rate (ASR) among the evaluated defences, including 0% on challenging code injection attacks, while resulting in the lowest KL divergence and minimal changes in capability and safety.
• Abstract（参考訳）: バックドア攻撃は、トレーニング中にLarge Language Models(LLM)に埋め込むことができ、入力にトリガーが現れると不要な振る舞いを引き起こす。 LLMの既存のバックドアディフェンスは、バックドアを除去しようとするが、必然的にモデルの出力分布を良質なプロンプトにシフトし、結果としてモデルの性能と安全性が低下する可能性がある。 本研究では, NEEDLE, トレーニング不要なバックドア除去手法を提案する。 トリガーが特定されると、アクティベーションベクトルを介してバックドア方向とリファレル部分空間を推定し、その後、リファレル関連表現の変化を防止しつつバックドアの抑制に順次重みの直交化を適用した。 NEEDLEはクリーンな参照モデルもオリジナルの有毒なトレーニングデータも必要としない。 評価は複数のモデルファミリーと攻撃タイプにまたがる。 NEEDLEは、アタックコードインジェクション攻撃の0%を含む評価された防御のうち、最低平均アタック成功率(ASR)を達成すると同時に、KLの発散率の最小化と能力と安全性の最小化を実現している。

関連論文リスト

• Self-Purification Mitigates Backdoors in Multimodal Diffusion Language Models [74.1970982768771]
  確立されたデータポゾンパイプラインは,MDLMにバックドアを埋め込むことに成功した。 拡散自己浄化(Diffusion Self-Purification)と呼ばれるMDLMのバックドア防御フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2026-02-24T15:47:52Z)
• Lethe: Purifying Backdoored Large Language Models with Knowledge Dilution [49.78359632298156]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを達成し、大幅な進歩を遂げている。 標準クエリではモデルが正常に動作しますが、特定のトリガがアクティブになると、有害な応答や意図しない出力を生成します。 本稿では,LLMからのバックドアの挙動を知識希釈により除去する新しい手法LETHEを提案する。
  論文  参考訳（メタデータ） (2025-08-28T17:05:18Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Transferring Backdoors between Large Language Models by Knowledge Distillation [2.9138150728729064]
  バックドア攻撃は大規模言語モデル(LLM)に対する深刻な脆弱性である。 従来の手法では、特定のモデルでのみそのようなリスクを明らかにしたり、事前訓練されたフェーズを攻撃した後のタスク転送可能性を示す。 本研究では,教師LLMのバックドアを小型モデルに効果的に蒸留できる適応的トランスファー可能なバックドアアタックであるATBAを提案する。
  論文  参考訳（メタデータ） (2024-08-19T10:39:45Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
  データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。 本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。 PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:52:26Z)
• Unified Neural Backdoor Removal with Only Few Clean Samples through Unlearning and Relearning [4.623498459985644]
  ULRL(UnLearn and ReLearn for backdoor removal)を提案する。 提案手法はまず,ネットワークの損失を小さなクリーンデータセット上で意図的に最大化する未学習フェーズを用いる。 再学習段階では、これらの疑わしいニューロンは、標的の再初期化とコサイン類似性規則化を用いて再分類される。
  論文  参考訳（メタデータ） (2024-05-23T16:49:09Z)
• Simulate and Eliminate: Revoke Backdoors for Generative Large Language Models [42.19147076519423]
  生成型大規模言語モデル(LLM)は、理解から推論まで、様々な自然言語処理(NLP)タスクを支配している。 悪意のある敵は、毒データをオンラインで公開し、毒データに基づいて事前訓練された被害者のLSMに対するバックドア攻撃を行うことができる。 生成LDMの不要なバックドアマッピングを除去するためにSANDE(Simulate and Eliminate)を提案する。
  論文  参考訳（メタデータ） (2024-05-13T11:53:42Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。