論文の概要: Follow the Gradient: Tracing Safety Degradation Back to Training Data

• arxiv url: http://arxiv.org/abs/2610.37481v1
• Date: Tue, 27 Oct 2026 16:08:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.687097
• Title: Follow the Gradient: Tracing Safety Degradation Back to Training Data
• Title（参考訳）: Follow the Gradient: トレーニングデータへの安全性の低下の追跡
• Abstract要約: SafeTuluのトレーニングは、Qwen、Llama、OlmoでGCG攻撃の成功率を最大22%削減する。 SafeTuluのトレーニングは、Qwen、Llama、OlmoでGCG攻撃の成功率を最大22%削減する。
• 参考スコア（独自算出の注目度）: 15.772847083061846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning Large Language Models (LLMs) on instruction data can quietly erode their safety, even when no training example looks harmful. Because this safety-degrading data looks benign, standard content filters struggle to catch it. We tackle this problem by developing SimpleLoRIF, a scalable gradient embedding method that identifies fine-tuning examples whose gradients align with unsafe behavior. By simplifying a low-rank attribution method and restricting backpropagation to the final four transformer blocks, SimpleLoRIF can embed datasets on the order of a million examples, boosting gradient attribution from a small-scale analysis tool into a practical filter for full post-training datasets. We first validate it on emergent misalignment, where we find that gradients can connect insecure-code training data to the broadly harmful behaviors that appear after fine-tuning, with AUC as high as 0.865 in the gradient space of misaligned models. We then use SimpleLoRIF to build SafeTulu, a version of Tulu 3 with the 20% of examples most gradient-aligned with unsafe responses removed. Training on SafeTulu reduces GCG attack success rate by up to 22% across Qwen, Llama, and Olmo, outperforming both LLM-as-a-judge and prior gradient-based filtering, while largely preserving or even improving capability. Finally, we analyzed the removed data and identify possibly under-studied sources of safety degradation, such as tool-execution failures and narrative arithmetic. We release SafeTulu along with a Hugging Face Space that lets researchers build their own customized versions of SafeTulu to fine-tune on, such as by changing the removal fraction or filtering only certain subsets.
• Abstract（参考訳）: インストラクションデータに対する微調整大型言語モデル(LLM)は、トレーニング例が有害に見えても、静かに安全性を損なう可能性がある。 この安全性を低下させるデータは良さそうに見えるので、標準のコンテンツフィルターはそれをキャッチするのに苦労する。 この問題を解決するためにSimpleLoRIFを開発した。これはスケーラブルな勾配埋め込み手法で、勾配が安全でない振る舞いと整合する微調整例を特定する。 ローランクの帰属法を単純化し、最後の4つのトランスフォーマーブロックへのバックプロパゲーションを制限することで、SimpleLoRIFは100万のサンプルの順にデータセットを埋め込むことができ、小規模分析ツールからの勾配属性を、完全なトレーニング後のデータセットのための実用的なフィルタに高めることができる。 まず,不整合モデルの勾配空間において,AUCを0.865まで高めることにより,安全性の低いトレーニングデータを微調整後に現れる有害な行動に結びつけることができることを示す。 次に SimpleLoRIF を使って SafeTulu という Tulu 3 のバージョンを構築します。 SafeTuluのトレーニングは、Qwen、Llama、OlmoでGCG攻撃の成功率を最大22%削減する。 最後に、削除したデータを分析し、ツール実行失敗や物語算術といった、未研究の安全性劣化の原因を特定する。 私たちはSafeTuluとHugging Face Spaceをリリースし、研究者がSafeTuluのカスタマイズしたバージョンを作成できるようにしました。

関連論文リスト

• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection [52.551864761088574]
  大規模言語モデル(LLM)は、しばしばアライメント税を課す。 この税は、主に連続的な順序で学習スタイルを忘れることから生じると我々は主張する。 我々は, 塑性と安定性のバランスをとるために, OGPSA (Orthogonal Gradient Projection for Safety Alignment) を提案する。
  論文  参考訳（メタデータ） (2026-02-08T09:53:46Z)
• Layer-Aware Representation Filtering: Purifying Finetuning Data to Preserve LLM Safety Alignment [24.364891513019444]
  本稿では, 微調整データセットには, 表面で容易に識別できない, 安全性の低下したサンプルがしばしば含まれていることを示す。 本稿では,レイヤ認識表現フィルタリング手法であるLARFを提案する。 実験結果から, LARFは良性データと安全性劣化の特徴を効果的に識別できることが示唆された。
  論文  参考訳（メタデータ） (2025-07-24T17:59:24Z)
• CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling [63.07948989346385]
  フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。 各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。 既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。 本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T01:06:23Z)
• Learning and Forgetting Unsafe Examples in Large Language Models [41.115096910603086]
  大規模言語モデル(LLM)は、サードパーティのカスタム微調整データから学習する。 協調LLMは、安全でないコンテンツを容易に学習できるが、より安全なコンテンツに微調整した場合には、それを忘れやすい傾向にある。 このアルゴリズムは、モデルがそのデータに対して忘れている信号がどれほど強いかに基づいて、安全でないデータをフィルタリングする。
  論文  参考訳（メタデータ） (2023-12-20T03:18:50Z)
• Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
  本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-17T10:14:43Z)
• Staircase Sign Method for Boosting Adversarial Attacks [123.19227129979943]
  トランスファーベースの攻撃の敵の例を作るのは難しいし、研究のホットスポットだ。 そこで本研究では,この問題を緩和するための新しい階段サイン法(S$2$M)を提案する。 我々の手法は一般に転送ベースの攻撃と統合することができ、計算オーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2021-04-20T02:31:55Z)
• SSGD: A safe and efficient method of gradient descent [0.5099811144731619]
  勾配降下法は様々な最適化問題を解く上で重要な役割を果たしている。 超勾配降下法による勾配長の隠蔽によるパラメータの更新 我々のアルゴリズムは勾配に対する攻撃に対して防御できる。
  論文  参考訳（メタデータ） (2020-12-03T17:09:20Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。