論文の概要: Curriculum Learning for Safety Alignment

• arxiv url: http://arxiv.org/abs/2605.26315v1
• Date: Mon, 25 May 2026 20:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.398873
• Title: Curriculum Learning for Safety Alignment
• Title（参考訳）: 安全アライメントのためのカリキュラム学習
• Authors: Sandeep Kumar, Virginia Smith, Chhavi Yadav,
• Abstract要約: カリキュラム学習がDPOベースの安全アライメントの堅牢性を向上させることができるかを検討する。 本稿では,選好データを難易度で整理するカリキュラムベースのフレームワークであるStaged-Competenceを提案する。 3つのモデルファミリーで平均的に評価されたStaged-Competenceは、OODの有害反応率を16%、ジェイルブレイク攻撃の成功率を20%削減する。
• 参考スコア（独自算出の注目度）: 21.952373934098087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimisation (DPO) is widely used for safety alignment in large language models. However, prior work shows it is brittle and exhibits poor out-of-distribution (OOD) generalisation. In this paper, we investigate whether Curriculum Learning can improve the robustness of DPO-based safety alignment. We propose Staged-Competence, a curriculum-based framework that organises preference data by difficulty, employs competence-based sampling, and progressively updates the reference model during training. Averaged across three model families, Staged-Competence reduces OOD harmful response rates by 16% and jailbreak attack success rates by 20%, while preserving general capabilities with near-zero over-refusal. We further show that Staged-Competence (1) matches baseline safety with only 75% of the training data and (2) yields better separation between safe and unsafe responses. Staged-Competence is agnostic to the policy optimisation loss and can extend to other DPO variants and alignment domains. Our code and data are available at https://github.com/Sandeep5500/curriculum-learning-for-safety.
• Abstract（参考訳）: DPO(Direct Preference Optimisation)は、大規模言語モデルの安全性向上に広く利用されている。 しかし、以前の研究は、脆く、分布外分布(OOD)の一般化が貧弱であることを示している。 本稿では,カリキュラム学習がDPOベースの安全アライメントの堅牢性を向上させることができるかを検討する。 本稿では,選好データを難易度で整理するカリキュラムベースのフレームワークであるStaged-Competenceを提案する。 3つのモデルファミリーで平均化され、Staged-CompetenceはOODの有害反応率を16%減らし、ジェイルブレイク攻撃の成功率を20%減らした。 さらに,(1)訓練データの75%と基準値の安全性が一致し,(2)安全応答と非安全応答の分離性が向上することを示した。 段階的コンピテンス(Staged-Competence)は、ポリシー最適化の損失に非依存であり、他のDPO変種やアライメントドメインにまで拡張することができる。 私たちのコードとデータはhttps://github.com/Sandeep5500/curriculum-learning-for-safetyで公開されています。

関連論文リスト

• Improving Safety Alignment via Balanced Direct Preference Optimization [36.066367724362614]
  大規模言語モデル(LLM)の安全性向上のため,人間フィードバックからの強化学習(RLHF)が採用されている。 直接優先度最適化(DPO)は安全アライメントに広く用いられている。 本稿では,モデルのトレーニングデータの理解の観点から,オーバーフィッティング現象を再考する。
  論文  参考訳（メタデータ） (2026-03-24T06:04:09Z)
• Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection [52.551864761088574]
  大規模言語モデル(LLM)は、しばしばアライメント税を課す。 この税は、主に連続的な順序で学習スタイルを忘れることから生じると我々は主張する。 我々は, 塑性と安定性のバランスをとるために, OGPSA (Orthogonal Gradient Projection for Safety Alignment) を提案する。
  論文  参考訳（メタデータ） (2026-02-08T09:53:46Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models [94.39278422567955]
  人間の嗜好を微調整した大型言語モデル(LLM)は、その能力向上に成功している。 しかし、微調整中のLLMの安全性確保は依然として重要な懸念事項である。 本稿では,BFPO(Bi-Factorial Preference Optimization)と呼ばれる教師あり学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-27T17:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。