論文の概要: LoRA-Patch: Defending Against Backdoored LoRA Adapters via Directional Steering
- arxiv url: http://arxiv.org/abs/2611.03752v1
- Date: Mon, 02 Nov 2026 08:44:49 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:30:57.929945
- Title: LoRA-Patch: Defending Against Backdoored LoRA Adapters via Directional Steering
- Title(参考訳): LoRA-Patch:ディレクティブステアリングによるバックドアのLoRAアダプタに対する防御
- Abstract要約: サードパーティのLoRAアダプタは深刻なバックドアリスクをもたらす。
LoRAアダプタに適した軽量バックドアディフェンスであるLoRA-Patchを提案する。
- 参考スコア(独自算出の注目度): 8.017869750388675
- License:
- Abstract: Third-party LoRA adapters introduce serious backdoor risks: malicious adapters can maintain normal task performance while embedding hidden, trigger-activated behaviors, making them difficult to detect through standard utility evaluations. Existing removal-based defenses typically sanitize backdoored models by updating, pruning, distilling, or mixing model parameters. However, these approaches are misaligned with adapter-based deployment, where the trusted base model is expected to remain frozen. In this work, we propose LoRA-Patch, a lightweight backdoor defense tailored to LoRA adapters. Our key insight is that backdoor injection distorts the directional geometry of a poisoned adapter relative to its trusted base model. Building on this insight, LoRA-Patch suppresses trigger-activated behaviors by realigning adapter directions through layer-wise steering, without modifying the base model weights. Extensive experiments across five backdoor attacks and three models show that LoRA-Patch effectively mitigates trigger-activated backdoors, outperforming existing baselines while preserving benign task performance. Moreover, LoRA-Patch is computationally efficient, constructing patches within 20 seconds across all evaluated models and adapters. Our code is publicly available at https://github.com/FOXVEDA/LoRA-Patch.
- Abstract(参考訳): 悪意のあるアダプタは、隠れたトリガーアクティベートされた振る舞いを埋め込みながら正常なタスクパフォーマンスを維持することができ、標準的なユーティリティ評価によって検出するのが難しくなる。
既存の除去ベースの防御は、通常、モデルパラメータの更新、刈り取り、蒸留、混合によってバックドアモデルの衛生化を行う。
しかしながら、これらのアプローチは、信頼されたベースモデルが凍結されると予想されるアダプタベースのデプロイメントと不一致である。
そこで本研究では,LoRAアダプタに適した軽量バックドアディフェンスであるLoRA-Patchを提案する。
我々の重要な洞察は、バックドアインジェクションが、信頼されたベースモデルに対して、有毒なアダプタの方向形状を歪めてしまうことである。
この知見に基づいて、LoRA-Patchは、基本モデルの重みを変更することなく、層回りのステアリングを通じてアダプタ方向を調整することによってトリガー活性化の挙動を抑制する。
5つのバックドア攻撃と3つのモデルにわたる大規模な実験により、LoRA-Patchはトリガーアクティベートされたバックドアを効果的に軽減し、良質なタスク性能を維持しながら既存のベースラインを上回ります。
さらに、LoRA-Patchは計算効率が良く、評価されたモデルやアダプタ間でパッチを20秒以内に構築する。
私たちのコードはhttps://github.com/FOXVEDA/LoRA-Patch.comで公開されています。
関連論文リスト
- LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates [48.87937677659571]
低ランク適応(LoRA)は、大型モデルを微調整する標準的な方法である。
固定ランク行列多様体に対してすべてのLoRAステップを接として扱うアダプタであるLoRA-TSDを導入する。
LoRA-Pro と LoRA-TSD の両方に対して最初のグローバル収束保証を与える。
論文 参考訳(メタデータ) (2026-09-02T15:41:45Z) - Causal-Guided Detoxify Backdoor Attack of Open-Weight LoRA Models [2.7625323526446413]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法として登場した。
オープンウェイト LoRA モデルに特化して設計された新しいバックドア攻撃フレームワークである Causal-Guided Detoxify Backdoor Attack (CBA) を提案する。
論文 参考訳(メタデータ) (2025-12-22T11:40:47Z) - Activated LoRA: Fine-tuned LLMs for Intrinsics [6.057520371260868]
Low-Rank Adaptation (LoRA) は、大規模基盤モデルの重みを微調整するための高効率なフレームワークとして登場した。
アクティベートされたLoRAは、aLoRAが呼び出された後、シーケンス内のトークンの重みにのみ適応するようにLoRAフレームワークを変更するアダプタアーキテクチャである。
論文 参考訳(メタデータ) (2025-04-16T18:03:21Z) - Stealthy Patch-Wise Backdoor Attack in 3D Point Cloud via Curvature Awareness [52.780853311462636]
バックドア攻撃はディープニューラルネットワーク(DNN)に深刻な脅威をもたらす
既存の3Dポイントのクラウドバックドア攻撃は、サンプルワイドなグローバルな修正に依存している。
我々は,3Dポイントクラウド用のパッチワイドバックドアアタックフレームワークであるStealthy Patch-Wise Backdoor Attack (SPBA)を提案する。
論文 参考訳(メタデータ) (2025-03-12T12:30:59Z) - LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem [55.2986934528672]
タスク強化型LORAにバックドアを注入する方法を検討する。
シンプルで効率的で具体的なレシピで、バックドアのLoRAを一度トレーニングして、シームレスに複数のLoRAとマージできることが分かりました。
我々の研究は、下流の可搬性イットバックドア注入型LORAのトレーニング不要分布の新しい脅威モデルを研究する最初のものである。
論文 参考訳(メタデータ) (2024-02-29T20:25:16Z) - S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。
本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
論文 参考訳(メタデータ) (2023-11-06T17:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。