論文の概要: DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.00160v1
• Date: Fri, 29 May 2026 09:04:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.079257
• Title: DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning
• Title（参考訳）: DataShield: LLMの良性命令微調整のための安全性劣化データフィルタリング
• Authors: Junbo Zhang, Qianli Zhou, Xinyang Deng, Wen Jiang, Jie Pan, Jinbiao Zhu,
• Abstract要約: 大きな言語モデル(LLM)は、良質なデータセットを微調整しても、安全性の低下に悩まされる。 良質なデータセットの安全性劣化サンプルを同定する既存の方法は、高い計算コストと重大なノイズの問題に悩まされている。 我々は,安全性劣化の可能性のあるサンプルを効率的かつ効果的に同定するために,DataShieldを提案する。
• 参考スコア（独自算出の注目度）: 21.57697098714205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) suffer from degraded safety capabilities even when fine-tuned with benign datasets. However, existing methods for identifying safety-degrading samples in benign datasets suffer from high computational costs and significant noise issues. In this paper, we propose DataShield to efficiently and effectively identify potential safety-degrading samples. Our key intuition is based on the observation that benign fine-tuning increases the overall response compliance of LLMs. DataShield's key technical insight is to quantify each sample's contribution to the model's compliance behavior as its safety degradation score. DataShield consists of three core components: (1) Compliance Vector Extraction, which captures the LLM's compliance behavior tendency; (2) a novel Compliance-Aware Score (CAS), which automatically identifies the optimal safety-critical layer; and (3) Safety-degrading Sample Filtering, which quantifies the projection shift of training data along the compliance direction. Extensive experimental evaluation on Llama3-8B, Llama3.1-8B, and Qwen2.5-7B using the Alpaca and Dolly benign datasets validates our method's effectiveness in identifying high-risk and low-risk data subsets. We also observe that open-ended question answering is more likely to trigger safety degradation, and corresponding responses tend to be longer. We hope this work can provide new insights into data-centric defense methods. The source code is available at: https://github.com/ZJunBo/DataShield.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、良質なデータセットを微調整しても、安全性の低下に悩まされる。 しかし、良質なデータセットの安全性劣化サンプルを同定する既存の手法は、高い計算コストと重大なノイズの問題に悩まされている。 本稿では,安全性劣化の可能性のあるサンプルを効率よく,効果的に同定するDataShieldを提案する。 我々の重要な直感は、良質な微調整がLLMの全体的な応答コンプライアンスを増大させるという観察に基づいている。 DataShieldの重要な技術的洞察は、モデルのコンプライアンス行動に対する各サンプルの貢献を、その安全性劣化スコアとして定量化することである。 DataShield は,(1) LLM のコンプライアンス行動傾向を捉えたコンプライアンスベクトル抽出,(2) 最適安全クリティカル層を自動的に識別する新しいコンプライアンス・アウェアスコア,(3) コンプライアンス方向に沿ったトレーニングデータの投影シフトを定量化する安全劣化サンプルフィルタリングの3つのコアコンポーネントから構成される。 Llama3-8B, Llama3.1-8B, Qwen2.5-7BのAlpaca, Dollyベニグナデータセットを用いた大規模実験により, 高リスクおよび低リスクデータサブセットの同定における本手法の有効性が検証された。 また、オープンエンドの質問応答は安全性の低下を引き起こす可能性が高く、応答が長くなる傾向にあることも観察した。 この研究によって、データ中心の防御方法に関する新たな洞察が得られればと思っています。 ソースコードは、https://github.com/ZJunBo/DataShield.comで入手できる。

関連論文リスト

• GradShield: Alignment Preserving Finetuning [14.841149847814796]
  GradShieldは、微調整中にLLM(Large Language Models)を保護する、原則的なフィルタリング手法である。 データポイント毎にFinetuning Implicit Harmfulness Score(FIHS)を演算することで、潜在的に有害なデータを除去する。 実用性能を維持しながら、連続してアタック成功率(ASR)を6%以下に維持する。
  論文  参考訳（メタデータ） (2026-05-13T23:19:55Z)
• Token-level Data Selection for Safe LLM Fine-tuning [15.039068315115372]
  カスタムデータセット上での微調整大型言語モデル(LLM)は、これらのモデルを特定のドメインやアプリケーションに適用するための標準的なアプローチとなっている。 近年の研究では、このような微調整がモデルの安全性を著しく低下させる可能性があることが示されている。 本稿では,安全劣化モデルとユーティリティ指向モデルとの損失差を測定することにより,各トークンの安全性リスクを定量化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-01T16:52:05Z)
• Adaptive Defense against Harmful Fine-Tuning for Large Language Models via Bayesian Data Scheduler [67.24175911858312]
  有害な微調整は、大規模な言語モデルのための微調整・アズ・ア・サービスに重大な安全性のリスクをもたらす。 Bayesian Data Scheduler (BDS) は、アタックシミュレーションを必要としない適応型チューニングステージ防衛戦略である。 BDSは、微調整データセットとアライメントデータセットに基づいて、各データポイントの安全属性の後方分布を学習する。
  論文  参考訳（メタデータ） (2025-10-31T04:49:37Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Layer-Aware Representation Filtering: Purifying Finetuning Data to Preserve LLM Safety Alignment [24.364891513019444]
  本稿では, 微調整データセットには, 表面で容易に識別できない, 安全性の低下したサンプルがしばしば含まれていることを示す。 本稿では,レイヤ認識表現フィルタリング手法であるLARFを提案する。 実験結果から, LARFは良性データと安全性劣化の特徴を効果的に識別できることが示唆された。
  論文  参考訳（メタデータ） (2025-07-24T17:59:24Z)
• Towards Safety Reasoning in LLMs: AI-agentic Deliberation for Policy-embedded CoT Data Creation [70.62656296780074]
  本稿では,新しいデータ生成法であるAIDSAFE(Agenic Iterative Deliberation for Safety Reasoning)を提案する。 AIDSAFEにおけるデータリファインダーの段階は、反復的、冗長的、詐欺的思考を排除し、高品質なアウトプットを保証する。 本評価は, AIDSAFEによるCoTsが, より優れた政策順守と推論品質を実現することを示すものである。
  論文  参考訳（メタデータ） (2025-05-27T21:34:40Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。