論文の概要: When Skills Meet Safety: Benchmarking and Characterizing the Adaptive Jailbreak Robustness of Skill-Merged LLMs

• arxiv url: http://arxiv.org/abs/2608.08542v1
• Date: Sun, 09 Aug 2026 07:41:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.863445
• Title: When Skills Meet Safety: Benchmarking and Characterizing the Adaptive Jailbreak Robustness of Skill-Merged LLMs
• Title（参考訳）: スキルの安全性: スキルを生かしたLLMの適応的ジェイルブレイクロバストさのベンチマークと特徴化
• Abstract要約: モデルマージは、トレーニングをすることなく、整合した言語モデルに新しいスキルを与えるデフォルトの方法となっている。 ほぼすべての証拠は、静的な拒絶テストにかかっている。 SkillSafe-Benchは、静的リフレクション、適応的ジェイルブレイク堅牢性、能力維持に関するスキルマージされたモデルをスコアするベンチマークである。
• 参考スコア（独自算出の注目度）: 4.484096675953176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging has become the default way to give an aligned language model new skills without retraining: a practitioner folds task vectors from math, code, or domain specialists into a safety-aligned base using task arithmetic, TIES, or DARE. This convenience is known to carry a safety cost, but almost all of that evidence rests on static refusal tests: fixed harmful prompts scored for compliance. We argue this is misleading. Because safety alignment is "shallow," concentrated in the first few generated tokens, a merged model's static refusal can stay clean while a real adaptive attack still breaks it. We introduce SkillSafe-Bench, a controlled benchmark that scores skill-merged models on static refusal, adaptive jailbreak robustness, and capability retention under a conservative two-judge AND rule. Across six open-weight bases (five families, two scales), static safety does not predict robustness to attack: under a semantic template attack, safe-looking merges on the fragile bases (both Qwen scales and Gemma) are jailbroken 60-76% of the time while others (Llama, Phi-4) stay robust. We further show the static effect of merging is base-conditional, characterize same-recipe abliteration-style safety erosion through a data-free geometric signal (the overlap of a task vector with a safety subspace), and outline SubSafe-Merge, which projects this overlap away to remove that erosion at held capability. Adaptive evaluation is not optional for merged LLMs: the models that most need it look safe under static screening.
• Abstract（参考訳）: モデルマージは、リトレーニングなしでタスクベクターを数学、コード、ドメインスペシャリストから、タスク算術、TIES、DAREを使って安全に整合したベースに折り畳むという、整合した言語モデルに新しいスキルを与えるデフォルトの方法となっている。 この利便性は安全性を犠牲にすることで知られていますが、ほとんどすべての証拠は静的な拒絶テストにかかっています。 これは誤解を招くものだと私たちは主張する。 安全アライメントは、最初の数個の生成されたトークンに集中しているため、マージされたモデルの静的な拒絶は、真のアダプティブアタックがそれを破壊する間も、きれいに保たれます。 SkillSafe-Benchは、静的な拒絶、適応的なジェイルブレイクの堅牢性、そして保守的な2judgeとルールの下での能力維持について、スキルマージされたモデルをスコアする制御されたベンチマークである。 セマンティックテンプレートアタックの下では、脆弱なベース(QwenスケールとGemmaの両方)上の安全なマージは、60～76%が投獄され、他の(Llama、Phi-4)はロバストである。 さらに,データフリーな幾何信号(タスクベクトルと安全部分空間との重なり合い)を通し,この重なり合いを指摘し,その重なり合いを解消する。 適応評価(Adaptive evaluation)は、統合LDMではオプションではない。

関連論文リスト

• SafeCA: Safe Cross-Attention Localization and Regulation for Text-to-Video Jailbreak Defense [77.70598852234149]
  テキスト・トゥ・ビデオ(T2V)生成モデルは、現実世界のデプロイにおいてジェイルブレイク攻撃に対して脆弱である。 安全なクロスアテンション・ローカライゼーションと正規化のための機能レベル防衛機構であるSafeCAを提案する。 実験の結果、SafeCAは主流のT2Vモデルでジェイルブレイクの成功率を約20%削減することが示された。
  論文  参考訳（メタデータ） (2026-08-11T14:01:24Z)
• HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models [65.08794811632073]
  HyperSafeは、細調整されたチェックポイント毎にモデル固有のSafe Side Networkを生成することで、安全性の挙動を復元する。 モデル群であるQwen2-7BとLLaMA-3-8Bを複数の安全性ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-07-13T12:28:43Z)
• TRACE: Trajectory-Based Safety Patch Learning for LLM Post-Training Realignment [27.81709722999727]
  ファインチューニング・アズ・ア・サービスプラットフォームでは、ユーザーはカスタマイズされたタスクで大きな言語モデルをトレーニングできる。 実際には、サービスプロバイダは、完全なアライメントを再実行することなく、モデルの安全性を回復する必要があります。 trajectory-based safety patch learning frameworkであるTRACEを提案する。
  論文  参考訳（メタデータ） (2026-06-26T03:29:59Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Internal Safety Collapse in Frontier Large Language Models [65.00730294617382]
  この研究は、フロンティア大言語モデル(LLM)における重要な障害モードを特定する。 特定のタスク条件下では、モデルは有害なコンテンツを連続的に生成し、そうでなければ良質なタスクを実行する状態に入る。 有害なコンテンツを生成することが唯一有効な完了であるドメインタスクを通じてISCをトリガーするフレームワークであるTVDを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T12:55:34Z)
• TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering [18.943719866462512]
  大規模言語モデル(LLM)のタンパー抵抗を評価するためのフレームワークであるTamperBenchを紹介する。 TamperBenchは、最先端の重量空間微調整攻撃と潜時空間表現攻撃をキュレートする。 私たちはTamperBenchを使って、防衛強化型を含む21個のオープンウェイトLCMを、9つの改ざん脅威に対して評価する。
  論文  参考訳（メタデータ） (2026-02-06T18:04:38Z)
• SABER: Uncovering Vulnerabilities in Safety Alignment via Cross-Layer Residual Connection [16.38885847999291]
  セーフアライメントトレーニングを備えた大規模言語モデル(LLM)は、堅牢な言語理解能力を備えた強力な機器である。 2つの中間層を$s$と$e$で接続し、残余接続を通じて$s e$と$e$を接続する新しいホワイトボックスジェイルブレイク手法であるSABERを導入する。 提案手法は,HarmBenchテストセット上での最高性能ベースラインよりも51%向上する。
  論文  参考訳（メタデータ） (2025-09-19T15:10:19Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
  大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。 動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:05:16Z)
• Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
  モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。 我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。 我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
  論文  参考訳（メタデータ） (2025-04-23T17:58:08Z)
• STAIR: Improving Safety Alignment with Introspective Reasoning [44.780098674618614]
  SafeTyアライメントとItrospective Reasoningを統合したフレームワークSTAIRを提案する。 その結果,STAIRは本能的アライメント戦略と比較して,有害なアウトプットを効果的に軽減し,有用性を保っていることがわかった。 テスト時のスケーリングでは、STAIRは一般的なジェイルブレイク攻撃に対して、Claude-3.5に匹敵する安全性能を達成する。
  論文  参考訳（メタデータ） (2025-02-04T15:02:55Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。