論文の概要: Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection

• arxiv url: http://arxiv.org/abs/2610.00685v1
• Date: Wed, 30 Sep 2026 20:28:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.758331
• Title: Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection
• Title（参考訳）: 核空間投影によるLORA変調LDMのバックドア浄化
• Abstract要約: 既存のバックドアの浄化方法は、トリガーの事前知識、クリーンな参照へのアクセス、アグレッシブな再訓練など、少なくとも1つの強い仮定に依存している。 本研究は,これらの仮定を必要とせず,また,疑似パラメータの再訓練を必要とせずに,LoRAで調整したLLMを浄化することを提案する。 本研究の目的は, (i) ベースモデルの汎用能力と (ii) アダプタを用いて学習した新たな下流スキルの両方を保ちながら, 攻撃成功率(ASR)を著しく下げることである。
• 参考スコア（独自算出の注目度）: 15.215130286922564
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With the rapid adoption of large language models (LLMs) and parameter-efficient fine-tuning (PEFT) methods, the risk of backdoor attacks has become more severe. Existing backdoor purification methods typically rely on at least one of the strong assumptions, such as prior knowledge of triggers, access to clean references, or aggressive retraining, and they often lack comprehensive evaluations. These constraints substantially limit their practical applicability. To overcome these challenges, our work proposes purifying LoRA-tuned LLMs without these assumptions and even without post-hoc retraining of the suspect parameters. Our objective is to significantly reduce the attack success rates (ASR) while preserving both (i) the base model's general capabilities and (ii) the new downstream skills learned through the adapter. Through a series of ablation studies, we progressively scale our approach from a single layer in a text classification setting to a full-parameter LLM in the generative task. Through careful data curation and feature approximation, we extract high-fidelity backdoor directions and, for each layer or head, construct orthogonal null spaces in both the input and output channels, onto which the LoRA updates are projected. Empirically, our null-space projection method reduces the ASR from nearly 100% to less than 10%, while preserving the base model's benign performance and the adapter's learned abilities during downstream task adaptation.
• Abstract（参考訳）: 大規模言語モデル (LLM) やパラメータ効率の高い微調整手法 (PEFT) が急速に普及し, バックドア攻撃のリスクが高まる。 既存のバックドアの浄化法は通常、トリガーの事前知識、クリーンな参照へのアクセス、アグレッシブな再訓練など、強い仮定の少なくとも1つに依存しており、包括的な評価を欠いていることが多い。 これらの制約は実用性を大幅に制限する。 これらの課題を克服するため,本研究では,これらの仮定を必要とせず,また,疑似パラメータの再訓練を必要とせず,LoRAで調整したLLMを浄化することを提案する。 我々の目標は、攻撃成功率(ASR)を著しく低減し、双方を保存することである。 (i)ベースモデルの一般的な機能及び機能 (ii)アダプタから学んだ新しい下流スキル。 一連のアブレーション研究を通じて,本手法をテキスト分類の単一層から生成タスクのフルパラメータ LLM へと段階的に拡張する。 注意深いデータキュレーションと特徴近似により、高忠実度バックドア方向を抽出し、各層またはヘッドに対して、LoRA更新を投影する入力チャネルと出力チャネルの両方に直交するヌル空間を構築する。 実験的に,我々のnull空間投影法は,ベースモデルの良性性能と下流タスク適応時のアダプタの学習能力を保ちながら,ASRを100%から10%未満に削減する。

関連論文リスト

• Reasoning-Preserving Fine-Tuning of Post-RL LLMs with Null-Basis LoRA [4.370838139925865]
  強化学習(Reinforcement Learning, RL)に基づくポストトレーニングは, 大規模言語モデルにおける推論能力の抽出に有効な手法となっている。 しかし、後続の教師付き微調整を通じて、新しい知識領域や行動にポストRLモデルを適用することは、これらの能力を著しく上書きすることができる。 本稿では,Null-Basis Low-Rank Adaptation (NB-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-09-22T03:25:02Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs [2.2448294058653455]
  敵は電子メールやユーザー生成コンテンツなどの間接的な入力チャネルを利用してアライメント保護を回避する。 本稿では,Zero-Shot Embedding Drift Detection (ZEDD)を提案する。 ZEDDは、モデル内部へのアクセス、アタックタイプの事前知識、タスク固有の再トレーニングを必要とせずに動作する。
  論文  参考訳（メタデータ） (2026-01-18T11:33:35Z)
• SASER: Stego attacks on open-source LLMs [14.7664610166861]
  SASERはオープンソースの大規模言語モデル(LLM)に対する最初のステゴ攻撃である ターゲットパラメータの特定、ペイロードの埋め込み、トリガのインジェクション、ペイロードのシーケンシャル実行を通じて影響を緩和する。 LlaMA2-7BとChatGLM3-6Bを量子化せずに実験したところ、SASERは既存のステゴ攻撃を最大98.1%上回った。
  論文  参考訳（メタデータ） (2025-10-12T07:33:56Z)
• LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning [61.594212398272184]
  Low-Rank Extrapolation (LoX)は、良質で悪意のある微調整攻撃に対する堅牢性を改善する。 LoXは攻撃成功率を11%から54%に下げる。
  論文  参考訳（メタデータ） (2025-06-18T16:30:02Z)
• From Threat to Tool: Leveraging Refusal-Aware Injection Attacks for Safety Alignment [4.379304291229695]
  LLM攻撃技術を応用したトレーニングフリーでモデルに依存しないフレームワークであるRefusal-Aware Adaptive Injection (RAAI)を紹介する。 RAAIは内部の拒絶信号を検出し、事前に定義されたフレーズを適応的に注入することで、有害で流用な完了を誘導する。 実験の結果,RAAIはLDMを効果的に脱獄させ,平均で2.15%から61.04%までの有害反応率を増加させた。
  論文  参考訳（メタデータ） (2025-06-07T08:19:01Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Neural Antidote: Class-Wise Prompt Tuning for Purifying Backdoors in CLIP [51.04452017089568]
  CBPT(Class-wise Backdoor Prompt Tuning)は、テキストプロンプトでCLIPを間接的に浄化する効率的な防御機構である。 CBPTは、モデルユーティリティを保持しながら、バックドアの脅威を著しく軽減する。
  論文  参考訳（メタデータ） (2025-02-26T16:25:15Z)
• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。 我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。