論文の概要: BSO: Safety Alignment Is Density Ratio Matching

• arxiv url: http://arxiv.org/abs/2605.12339v1
• Date: Tue, 12 May 2026 16:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.004665
• Title: BSO: Safety Alignment Is Density Ratio Matching
• Title（参考訳）: BSO:安全アライメントは密度比の一致
• Authors: Tien-Phat Nguyen, Truong Nguyen, Thin Nguyen, Duy Minh Ho Nguyen, Ngoc-Thanh Dinh, Trung Le,
• Abstract要約: 最適安全政策の可能性は、密度比整合問題に対する安全性の整合性を低下させるクローズドフォーム分解を許容することを示す。 データとモデル比率の差異を最小限に抑えることで、Bregman Safety Optimization (BSO) は単一段の損失関数のファミリーとなり、最適な安全ポリシーを確実に回復する。 安全アライメントベンチマークによる実験は、BSOが一貫して安全ヘルパフルネストレードオフを改善していることを示している。
• 参考スコア（独自算出の注目度）: 14.960171907231663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligning language models for both helpfulness and safety typically requires complex pipelines-separate reward and cost models, online reinforcement learning, and primal-dual updates. Recent direct preference optimization approaches simplify training but incorporate safety through ad-hoc modifications such as multi-stage procedures or heuristic margin terms, lacking a principled derivation. We show that the likelihood ratio of the optimal safe policy admits a closed-form decomposition that reduces safety alignment to a density ratio matching problem. Minimizing Bregman divergences between the data and model ratios yields Bregman Safety Optimization (BSO), a family of single-stage loss functions, each induced by a convex generator, that provably recover the optimal safe policy. BSO is both general and simple: it requires no auxiliary models, introduces only one hyperparameter beyond standard preference optimization, and recovers existing safety-aware methods as special cases. Experiments across safety alignment benchmarks show that BSO consistently improves the safety-helpfulness trade-off.
• Abstract（参考訳）: 有用性と安全性の両面での言語モデルのアライメントには、一般的に、複雑なパイプライン – 報酬とコストモデル、オンライン強化学習、プリミティブデュアルアップデートが必要です。 最近の直接選好最適化アプローチは、訓練を単純化するが、多段階手順やヒューリスティックマージン用語のようなアドホックな修正によって安全性を取り入れ、原則的な導出を欠いている。 最適安全政策の確率比は、密度比整合問題に対する安全性の整合性を低下させるクローズドフォーム分解を許容することを示す。 データとモデル比の差異を最小限に抑えることで、Bregman Safety Optimization (BSO) が得られます。 BSOは汎用的かつ単純であり、補助的なモデルを必要としない、標準の選好最適化を超えて1つのハイパーパラメータのみを導入し、特別なケースとして既存の安全を意識したメソッドを復元する。 安全アライメントベンチマークによる実験は、BSOが一貫して安全ヘルパフルネストレードオフを改善していることを示している。

関連論文リスト

• Improving Safety Alignment via Balanced Direct Preference Optimization [36.066367724362614]
  大規模言語モデル(LLM)の安全性向上のため,人間フィードバックからの強化学習(RLHF)が採用されている。 直接優先度最適化(DPO)は安全アライメントに広く用いられている。 本稿では,モデルのトレーニングデータの理解の観点から,オーバーフィッティング現象を再考する。
  論文  参考訳（メタデータ） (2026-03-24T06:04:09Z)
• SafeR-CLIP: Mitigating NSFW Content in Vision-Language Models While Preserving Pre-Trained Knowledge [51.634837361795434]
  SaFeR-CLIPは安全性と性能を調整し、以前の方法に比べて最大8.0%のゼロショット精度を回復する。 NSFW-Capsは、分散シフト下での安全性をテストするために、1000の高度に整合したペアの新しいベンチマークである。
  論文  参考訳（メタデータ） (2025-11-20T19:00:15Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• SafeDPO: A Simple Approach to Direct Preference Optimization with Enhanced Safety [57.14003339251827]
  我々は,政策学習の単一段階において,安全アライメント目標を直接最適化するSafeDPOという新しいアルゴリズムを導入する。 その結果、個別の報酬モデルとコストモデル、あるいは微調整中に言語モデルからサンプルを採取する必要がなくなる。 SafeDPOは,最先端の安全アライメントアルゴリズムと比較して,競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-26T14:50:01Z)
• LookAhead Tuning: Safer Language Models via Partial Answer Previews [62.529794567687354]
  ファインチューニングにより、大きな言語モデルは特定のドメインに適応できるが、しばしば以前に確立された安全アライメントを損なう。 LookAhead Tuningは、微調整時の安全性を維持する軽量で効果的なデータ駆動型アプローチである。
  論文  参考訳（メタデータ） (2025-03-24T18:11:42Z)
• Controllable Safety Alignment: Inference-Time Adaptation to Diverse Safety Requirements [46.79887158348167]
  大規模言語モデル(LLM)の安全性アライメントに関する現在のパラダイムは、一大のアプローチに従っている。 我々は,モデルの再トレーニングを伴わず,多様な安全要件に適応するフレームワークとして,制御可能な安全アライメント(CoSA)を提案する。
  論文  参考訳（メタデータ） (2024-10-11T16:38:01Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。