論文の概要: DataShield: Uncovering Risky Fine-Tuning Data Across LLMs Through Consensus Subspace Alignment
- arxiv url: http://arxiv.org/abs/2607.15081v1
- Date: Thu, 16 Jul 2026 14:51:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.150447
- Title: DataShield: Uncovering Risky Fine-Tuning Data Across LLMs Through Consensus Subspace Alignment
- Title（参考訳）: DataShield: コンセンサス部分空間アライメントを通じて,LSM全体のリスクの高い微調整データを明らかにする
- Abstract要約: 良質なタスク固有のデータの微調整さえも、大きな言語モデル(LLM)の安全性を著しく低下させる可能性がある。
本研究では,データアセスメントフレームワークであるDataShieldを提案する。
最先端のフィルタリングとマスキングベースラインと比較して、DataShieldはサンプルフィルタリングでASRを14.6%、セグメントマスキングで32.3%削減している。
- 参考スコア（独自算出の注目度）: 39.84367227792296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning large language models (LLMs) on domain-specific datasets has become a standard paradigm for adapting LLMs to specialized applications. However, recent work has shown that even fine-tuning on benign task-specific data can substantially weaken the safety capabilities of LLMs. While existing efforts have made progress in identifying data responsible for safety degradation, they usually rely on a single mean vector computed over a specific model with its tokenizer to represent the safety direction, which limits both the effectiveness and transferability of their risk assessment measures. To address these limitations, we propose DataShield, a data assessment framework that identifies risky fine-tuning samples and response segments through consensus subspace alignment over joint safety-critical semantic spaces derived from multiple safety-aligned LLMs. Within these spaces, DataShield extracts consensus safe and unsafe subspaces using semantic spectral decomposition over safe and unsafe data representations. The risk of a data sample or segment is then estimated by measuring its relative alignment with the unsafe and safe subspaces, enabling both sample-level filtering and fine-grained segment-level masking. Compared with state-of-the-art filtering and masking baselines, DataShield reduces ASR by 14.6\% with sample filtering and 32.3\% with segment masking, while preserving downstream utility and avoiding target-model-specific risk computation.
- Abstract（参考訳）: ドメイン固有のデータセット上での細調整大型言語モデル(LLM)は、特殊なアプリケーションにLLMを適用するための標準パラダイムとなっている。
しかし、最近の研究では、良質なタスク固有のデータを微調整しても、LLMの安全性を著しく低下させる可能性があることが示されている。
既存の取り組みでは、安全性の低下の原因となるデータの特定が進んでいるが、通常はトークン化器によって特定のモデル上で計算された1つの平均ベクトルに頼って安全方向を表現しており、リスク評価手法の有効性と伝達性の両方を制限している。
これらの制約に対処するため,複数の安全性に整合したLCMから派生した共同安全クリティカルなセマンティック空間上のコンセンサス部分アライメントを通じて,リスクの高い微調整サンプルと応答セグメントを識別するデータアセスメントフレームワークであるDataShieldを提案する。
これらの空間の中で、DataShieldは、安全なデータ表現と安全でないデータ表現に対するセマンティックスペクトル分解を用いて、コンセンサスセーフと安全でないサブ空間を抽出する。
データサンプルやセグメントのリスクは、安全で安全なサブスペースとの相対的なアライメントを測定して推定され、サンプルレベルのフィルタリングときめ細かいセグメントレベルのマスキングの両方を可能にする。
最先端のフィルタリングとマスキングベースラインと比較して、DataShieldはサンプルフィルタリングでASRを14.6\%、セグメントマスキングで32.3\%削減し、下流のユーティリティを保持し、ターゲットモデル固有のリスク計算を避ける。
関連論文リスト
- DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning [21.57697098714205]
大きな言語モデル(LLM)は、良質なデータセットを微調整しても、安全性の低下に悩まされる。
良質なデータセットの安全性劣化サンプルを同定する既存の方法は、高い計算コストと重大なノイズの問題に悩まされている。
我々は,安全性劣化の可能性のあるサンプルを効率的かつ効果的に同定するために,DataShieldを提案する。
論文 参考訳（メタデータ） (2026-05-29T09:04:27Z) - GradShield: Alignment Preserving Finetuning [14.841149847814796]
GradShieldは、微調整中にLLM(Large Language Models)を保護する、原則的なフィルタリング手法である。
データポイント毎にFinetuning Implicit Harmfulness Score(FIHS)を演算することで、潜在的に有害なデータを除去する。
実用性能を維持しながら、連続してアタック成功率(ASR)を6%以下に維持する。
論文 参考訳（メタデータ） (2026-05-13T23:19:55Z) - Token-level Data Selection for Safe LLM Fine-tuning [15.039068315115372]
カスタムデータセット上での微調整大型言語モデル(LLM)は、これらのモデルを特定のドメインやアプリケーションに適用するための標準的なアプローチとなっている。
近年の研究では、このような微調整がモデルの安全性を著しく低下させる可能性があることが示されている。
本稿では,安全劣化モデルとユーティリティ指向モデルとの損失差を測定することにより,各トークンの安全性リスクを定量化する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-01T16:52:05Z) - LSSF: Safety Alignment for Large Language Models through Low-Rank Safety Subspace Fusion [16.434293020863592]
大きな言語モデル(LLM)の安全性メカニズムは、有害なコンテンツのないデータセットの微調整でさえも、その安全性能力を損なう可能性があるため、顕著な脆弱性を示す。
LSSF, underline-Rank underlineSafety underlineSubspace underlineFusion。
提案手法は,低ランクプロジェクション行列の構築により,LLMの安全性情報の低ランク特性を利用する。
論文 参考訳（メタデータ） (2026-01-19T03:59:12Z) - Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。
安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。
複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
論文 参考訳（メタデータ） (2025-08-17T23:46:36Z) - Layer-Aware Representation Filtering: Purifying Finetuning Data to Preserve LLM Safety Alignment [24.364891513019444]
本稿では, 微調整データセットには, 表面で容易に識別できない, 安全性の低下したサンプルがしばしば含まれていることを示す。
本稿では,レイヤ認識表現フィルタリング手法であるLARFを提案する。
実験結果から, LARFは良性データと安全性劣化の特徴を効果的に識別できることが示唆された。
論文 参考訳（メタデータ） (2025-07-24T17:59:24Z) - Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models? [83.53005932513155]
MLLM(Multi-modal large language model)は大きな進歩を遂げているが、その安全性は依然として限られている。
そこで我々は, 単純明快な拒絶文に代えて, 少数の良性命令追従データに対して, MLLMを微調整する手法を提案する。
論文 参考訳（メタデータ） (2025-04-14T09:03:51Z) - SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI [58.29510889419971]
コード生成大型言語モデル(LLM)のセキュリティリスクと能力を評価するための既存のベンチマークは、いくつかの重要な制限に直面している。
手動で検証し、高品質なシード例から始める、汎用的でスケーラブルなベンチマーク構築フレームワークを導入し、ターゲット突然変異を通じて拡張する。
このフレームワークをPython、C/C++、Javaに適用すると、44のCWEベースのリスクカテゴリと3つのセキュリティ機能にまたがる5.9k以上のサンプルデータセットであるSeCodePLTが構築されます。
論文 参考訳（メタデータ） (2024-10-14T21:17:22Z) - Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models [79.65071553905021]
所望のデータセットの特徴を考慮したデータ生成手法であるデータアドバイザを提案する。
Data Advisorは生成されたデータの状態を監視し、現在のデータセットの弱点を特定し、データ生成の次のイテレーションをアドバイスする。
論文 参考訳（メタデータ） (2024-10-07T17:59:58Z) - Safe LoRA: the Silver Lining of Reducing Safety Risks when Fine-tuning Large Language Models [51.20476412037321]
提案するSafe LoRAは,選択した層からのLoRA重みの投影を安全に整合した部分空間に導入することにより,オリジナルのLoRA実装に対する単純なワンライナーパッチである。
我々の実験は、純粋に悪意のあるデータに対して微調整を行う場合、Safe LoRAは元のアライメントモデルと同様の安全性を保っていることを示した。
論文 参考訳（メタデータ） (2024-05-27T05:04:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。