論文の概要: SLDR: Defending Against Malicious Fine-tuning via Selective Layers Recovery and Dynamic Routing

• arxiv url: http://arxiv.org/abs/2610.10345v1
• Date: Wed, 07 Oct 2026 16:23:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.034763
• Title: SLDR: Defending Against Malicious Fine-tuning via Selective Layers Recovery and Dynamic Routing
• Title（参考訳）: SLDR:選択的層回復と動的ルーティングによる悪意のある微調整に対する防御
• Abstract要約: 微調整は、正当な入力に対するタスクパフォーマンスを維持しながら、拒否動作を省くことができる。 本稿では,Selective Layers Recovery と Dynamic Routing に基づくポストファインニング・ディフェンス SLDR を提案する。
• 参考スコア（独自算出の注目度）: 9.29960632299116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning-as-a-service enables users to adapt aligned large language models (LLMs) to specialized tasks, but malicious fine-tuning can erode refusal behavior while preserving task performance on legitimate inputs. We revisit recent layer-wise safety diagnostics and find that safety sensitivity is signed: scaling different layers can strengthen refusal, weaken it, or have little effect. Motivated by this observation, we propose SLDR, a post-fine-tuning defense based on Selective Layers Recovery and Dynamic Routing. SLDR trains a LoRA recovery adapter only on the layers with the maximum and minimum sensitivity scores in the signed spectrum, and uses representation-based dynamic routing inference to activate the adapter only for malicious queries. Across four model architectures, five downstream tasks, and four harmful benchmarks, SLDR substantially reduces harmful outputs while preserving downstream utility. On Llama3.1/SST2, SLDR reduces the average harmful score from 11.54 to 0.08 while maintaining downstream accuracy, and the harmful score remains near zero under poisoning ratios up to 0.9. The code is available at https://github.com/Stardust457/SLDR.
• Abstract（参考訳）: ファインチューニング・アズ・ア・サービスにより、ユーザーは特定のタスクにアライメントされた大きな言語モデル(LLM)を適用することができるが、悪意のあるファインチューニングは、正当な入力に対するタスクパフォーマンスを維持しながら、リフレクションを省くことができる。 異なるレイヤのスケーリングは、拒絶を強化したり、弱めたり、効果がほとんどない可能性がある。 本研究の目的は,選択層回復と動的ルーティングをベースとした学習後ディフェンスであるSLDRを提案することである。 SLDRは、符号付きスペクトルの最大感度と最小感度のスコアを持つ層のみにLoRAリカバリアダプタをトレーニングし、表現ベースの動的ルーティング推論を使用して、悪意のあるクエリのみをアクティベートする。 4つのモデルアーキテクチャ、5つのダウンストリームタスク、および4つの有害ベンチマークにおいて、SLDRは下流ユーティリティを維持しながら有害な出力を大幅に削減する。 Llama3.1/SST2では、SLDRは下流の精度を維持しながら平均有害スコアを11.54から0.08に減らし、有害スコアは最大0.9までゼロに近い。 コードはhttps://github.com/Stardust457/SLDRで公開されている。

関連論文リスト

• SafeDepth: Safety-Aware Token-Level Adaptive Computation [1.3865212803228024]
  既存のトークンレベルの適応推論モデルは、基準バックボーンよりも有害応答率が高い。 SafeDepthは、選択的層実行を使用して安全と効率の両方を改善する軽量なプラグインフレームワークです。
  論文  参考訳（メタデータ） (2026-09-30T23:18:42Z)
• Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration [37.700303596218184]
  RFA(Refusal Feature Ablation)を用いたオープンウェイト言語モデルの安全ガードレールのバイパス 本稿では,DDO(Decoy Direction Optimization)について紹介する。 この効果を定式化するスペクトル境界を証明し、6つのモデルファミリーでDDOを評価し、標準RFA下で10%のASRを達成する。
  論文  参考訳（メタデータ） (2026-09-14T18:36:35Z)
• Distilling Vision-Language Models for Robust Traffic Sign Perception in Autonomous Vehicles [1.6385815610837167]
  LAMDAは、言語基底構造をTSRモデルに変換するトレーニングフレームワークである。 シャドーアタックでは+12.5pp、ナチュラル-ライトアタックでは+13.2ppとなる。
  論文  参考訳（メタデータ） (2026-08-09T17:05:00Z)
• Discovering Agentic Safety Specifications from 1-Bit Danger Signals [6.599344783327054]
  EPO-Safeは、エージェントが反復的にアクションプランを生成し、スパースバイナリ警告を受け取り、リフレクションを通じて自然言語の振る舞い仕様を進化させるフレームワークである。 EPO-Safeは、構造化された低次元環境において、厳格に貧弱な信号から安全推論を行うことができることを示す。 標準的な報酬駆動リフレクションは安全性を積極的に低下させ、リフレクションを専用の安全チャンネルと組み合わせなければならないことを示す。
  論文  参考訳（メタデータ） (2026-04-25T08:35:36Z)
• Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models [71.11171576590134]
  視覚言語モデルは視覚的ジェイルブレイク攻撃によって容易に誘導され、有害なコンテンツを生成する。 本稿では,NullSteerを提案する。 我々はNullSteerが様々なジェイルブレイク攻撃において有害な出力を著しく減少させることを示す。
  論文  参考訳（メタデータ） (2026-03-23T15:23:23Z)
• Sparse Models, Sparse Safety: Unsafe Routes in Mixture-of-Experts LLMs [20.93386462211096]
  コンバレーション・オブ・エキスパート(MoE)アーキテクチャは、大規模言語モデルの計算コストを大幅に削減する。 しかし、以前の作業は主に実用性と効率に重点を置いており、このスパースアーキテクチャに関連する安全性のリスクは過小評価されている。 安全でないルートを発見することで,MoE LLMの安全性はアーキテクチャと同じくらい疎いことを示す。
  論文  参考訳（メタデータ） (2026-02-09T13:12:54Z)
• LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning [61.594212398272184]
  Low-Rank Extrapolation (LoX)は、良質で悪意のある微調整攻撃に対する堅牢性を改善する。 LoXは攻撃成功率を11%から54%に下げる。
  論文  参考訳（メタデータ） (2025-06-18T16:30:02Z)
• Panacea: Mitigating Harmful Fine-tuning for Large Language Models via Post-fine-tuning Perturbation [58.7395356511539]
  有害な微調整攻撃は、微調整サービスに重大なセキュリティリスクをもたらす。 主流防衛は、後の有害な微調整攻撃がより効果的でないように、モデルを予防接種することを目的としている。 微調整後のモデルに適用可能な適応的摂動を最適化するパナセアを提案する。
  論文  参考訳（メタデータ） (2025-01-30T02:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。