論文の概要: Suan: Rectifying Direct Preference Safety Alignment in Large Language Models

• arxiv url: http://arxiv.org/abs/2609.08634v1
• Date: Tue, 08 Sep 2026 12:04:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.643162
• Title: Suan: Rectifying Direct Preference Safety Alignment in Large Language Models
• Title（参考訳）: Suan: 大規模言語モデルにおける直接参照安全アライメントの明確化
• Abstract要約: 本稿では,新しい選好最適化アルゴリズムSuanを紹介する。 より解釈可能で堅牢なトレーニングダイナミクスが得られます。 評価において、Suanは応答ユーティリティを完全に保存しながら、優れた安全性アライメントを達成する。
• 参考スコア（独自算出の注目度）: 15.119045051735633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Integrating robust safety guardrails into Large Language Models (LLMs) is essential for delivering helpful yet harmless responses. While proprietary systems exhibit reliable safety controls, their underlying methodologies and trade-offs remain largely undisclosed. Achieving comparable security in open-weight models remains a persistent challenge, as post-trained variants frequently suffer from over-refusal and degraded general quality. To overcome these drawbacks, we introduce Suan, a novel preference optimization algorithm. Unlike existing methods, we formulate the optimization objective directly at the gradient level, bypassing the standard variational derivation. As a result, we obtain more interpretable and robust training dynamics. Extensive evaluations across a diverse suite of competitive baselines and benchmarks demonstrate that Suan achieves superior safety alignment while fully preserving response utility.
• Abstract（参考訳）: 堅牢な安全ガードレールをLarge Language Models (LLM)に統合することは、役に立つが無害な応答を提供するために不可欠である。 プロプライエタリなシステムには信頼性の高い安全管理が備わっているが、その基盤となる方法論とトレードオフはほとんど公表されていない。 オープンウェイトモデルで同等のセキュリティを実現することは、ポストトレーニング後の変種は、しばしば過剰な拒絶と劣化した一般的な品質に悩まされるため、永続的な課題である。 これらの欠点を克服するために、新しい選好最適化アルゴリズムであるSuanを導入する。 従来の方法とは異なり、標準変分微分をバイパスして、勾配レベルで最適化目標を直接定式化する。 その結果、より解釈可能で堅牢なトレーニングダイナミクスが得られた。 さまざまな競合ベースラインとベンチマークの広範な評価は、Suanが応答ユーティリティを完全に保存しながら、優れた安全性アライメントを実現していることを示している。

関連論文リスト

• Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
  大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。 既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。 安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
  論文  参考訳（メタデータ） (2026-05-14T12:13:08Z)
• BSO: Safety Alignment Is Density Ratio Matching [14.960171907231663]
  最適安全政策の可能性は、密度比整合問題に対する安全性の整合性を低下させるクローズドフォーム分解を許容することを示す。 データとモデル比率の差異を最小限に抑えることで、Bregman Safety Optimization (BSO) は単一段の損失関数のファミリーとなり、最適な安全ポリシーを確実に回復する。 安全アライメントベンチマークによる実験は、BSOが一貫して安全ヘルパフルネストレードオフを改善していることを示している。
  論文  参考訳（メタデータ） (2026-05-12T16:19:42Z)
• Improving Safety Alignment via Balanced Direct Preference Optimization [36.066367724362614]
  大規模言語モデル(LLM)の安全性向上のため,人間フィードバックからの強化学習(RLHF)が採用されている。 直接優先度最適化(DPO)は安全アライメントに広く用いられている。 本稿では,モデルのトレーニングデータの理解の観点から,オーバーフィッティング現象を再考する。
  論文  参考訳（メタデータ） (2026-03-24T06:04:09Z)
• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• IntentionReasoner: Facilitating Adaptive LLM Safeguards through Intent Reasoning and Selective Query Refinement [35.904652937034136]
  IntentionReasonerは、専用ガードモデルを利用して意図的推論を行う新しいセーフガード機構である。 IntentionReasonerは、複数のセーフガードベンチマーク、生成品質評価、ジェイルブレイク攻撃シナリオに優れています。
  論文  参考訳（メタデータ） (2025-08-27T16:47:31Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• SafeDPO: A Simple Approach to Direct Preference Optimization with Enhanced Safety [57.14003339251827]
  我々は,政策学習の単一段階において,安全アライメント目標を直接最適化するSafeDPOという新しいアルゴリズムを導入する。 その結果、個別の報酬モデルとコストモデル、あるいは微調整中に言語モデルからサンプルを採取する必要がなくなる。 SafeDPOは,最先端の安全アライメントアルゴリズムと比較して,競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-26T14:50:01Z)
• Multi-head Reward Aggregation Guided by Entropy [1.7505359879440667]
  高い評価エントロピーによって特徴づけられる規則は、人間が好む反応を識別する上で信頼性が低い。 ENCOREは,高い評価エントロピーを示す低重み付け規則により,マルチヘッド報酬を構成する簡単なエントロピー誘導手法である。 提案手法はトレーニングフリーで,様々なデータセットに適用可能であり,解釈可能性を維持している。
  論文  参考訳（メタデータ） (2025-03-26T21:16:48Z)
• Deliberative Alignment: Reasoning Enables Safer Language Models [64.60765108418062]
  モデルセーフティ仕様を教える新しいパラダイムであるDeliberative Alignmentを紹介します。 このアプローチを使ってOpenAIのoシリーズモデルを整列させ、人書きのチェーンや回答を必要とせず、OpenAIの安全ポリシーに極めて正確な順守を実現しました。
  論文  参考訳（メタデータ） (2024-12-20T21:00:11Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。