論文の概要: PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models
- arxiv url: http://arxiv.org/abs/2606.25442v1
- Date: Wed, 24 Jun 2026 06:10:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.240366
- Title: PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models
- Title（参考訳）: PolicyAlign: 大規模言語モデルのための直接ポリシーベースの安全アライメント
- Abstract要約: 現実世界のデプロイメントでは、新たな安全要件が自然言語ポリシーとして指定されることが多い。
これにより、急速に進化する安全ポリシーと従来のデータ駆動アライメント手法のミスマッチが生じる。
我々は,大規模言語モデルと安全ポリシーを直接整合するフレームワークであるPhysalignを提案する。
- 参考スコア（独自算出の注目度）: 19.807112285121715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safety alignment of large language models (LLMs) typically depends on high-quality supervision data, such as safe demonstrations or preference pairs. However, in real-world deployment, emerging safety requirements are often specified as natural-language policies, while corresponding supervision data may be costly, delayed, or unavailable. This creates a mismatch between rapidly evolving safety policies and conventional data-driven alignment methods. To address this, we propose PolicyAlign, a simple yet effective framework for directly aligning LLMs with safety policies. Given a safety policy, PolicyAlign first synthesizes policy-violating instructions and then performs on-policy self-distillation to internalize policy-guided behavior. To improve training stability and data efficiency, we further introduce Policy-Sensitive Filtering, which selects instructions where the policy induces the largest behavioral shift. Experiments across multiple models show that PolicyAlign consistently improves safety while maintaining low over-refusal and preserving general capabilities. PolicyAlign also generalizes to medical, legal, and financial safety scenarios, highlighting its potential as a scalable and maintainable approach to policy-based LLM safety alignment. The code is released at https://github.com/Qwen-Applications/PolicyAlign.
- Abstract（参考訳）: 大きな言語モデル(LLM)の安全性のアライメントは、通常、安全なデモンストレーションや選好ペアのような高品質な監視データに依存する。
しかし、現実のデプロイメントでは、出現する安全要件は自然言語ポリシーとして指定されることが多く、対応する監視データはコスト、遅延、あるいは利用できない可能性がある。
これにより、急速に進化する安全ポリシーと従来のデータ駆動アライメント手法のミスマッチが生じる。
そこで本稿では,LLMと安全ポリシーを直接整合する,シンプルかつ効果的なフレームワークであるPolyseAlignを提案する。
安全政策が与えられた後、まず政策違反の指示を合成し、その後、政策誘導行動の内部化のために、政治上の自己蒸留を行う。
さらに,トレーニングの安定性とデータ効率を向上させるために,ポリシーが最大の行動シフトを誘導する指示を選択するポリシ・センシティブ・フィルタリングを導入する。
複数のモデルにまたがる実験では、PolicyAlignは低オーバーリフレクションと一般的な機能を維持しながら、安全を継続的に改善している。
PolicyAlignはまた、医療、法律、金融の安全シナリオを一般化し、ポリシーベースのLLM安全アライメントに対するスケーラブルで保守性のあるアプローチとしての可能性を強調している。
コードはhttps://github.com/Qwen-Applications/PolicyAlignで公開されている。
関連論文リスト
- PolicyMem: Geometric Policy Memory for LLM Governance [72.04962480384322]
我々は、自然言語ポリシーを再利用可能な幾何学的メモリオブジェクトとして外部化する幾何学的ポリシーメモリであるPhysicalMemを紹介する。
メモリライターは、自然言語ポリシーをポリシーメモリスロットにコンパイルし、クエリ応答ペアはプロジェクションエネルギーを介してポリシーメモリを読み取る。
得られた政策証拠プロファイルは、安全判断を直接仲介し、政策帰属および事後検証のために再利用される。
論文 参考訳（メタデータ） (2026-09-12T06:07:43Z) - Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications [34.429470292997145]
我々は、仕様ベースのソフトウェアテストの厳格さをAIの安全性にもたらす新しいフレームワークを紹介します。
POLARISは、構造化されていない自然言語ポリシーを第一次論理表現にコンパイルし、高レベルのルールと具体的なテストケースの間のトレース可能なリンクを確立する。
この形式化により、複雑なポリシー違反シナリオをトラバース可能なパスとしてエンコードするセマンティックポリシーグラフの構築が可能になる。
実験により、POLARISは確立されたベースラインよりも高いポリシーカバレッジとアタック成功数を達成することが示された。
論文 参考訳（メタデータ） (2026-05-24T05:51:23Z) - SafeAdapt: Provably Safe Policy Updates in Deep Reinforcement Learning [15.190197265099748]
安全保証は、安全クリティカルなタスクにおける強化学習(RL)エージェントの配備の前提条件である。
現在のアプローチでは、正式な保証を提供していないか、政策の安全性を後部のみに検証する。
本稿では,Rashomon セットを導入することで,RL の安全ポリシー更新に先立つ新たな手法を提案する。
ポリシー更新に使用する任意のRLアルゴリズムに対して,その更新をRashomonセットに投影することで,形式的かつ証明可能な保証を提供できることを示す。
論文 参考訳（メタデータ） (2026-04-10T16:09:39Z) - Towards Policy-Adaptive Image Guardrail: Benchmark and Method [21.041111216560545]
ヴィジュアル言語モデル(VLM)は動的安全ガードレールのより適応的で一般化可能な基盤を提供する。
既存のVLMベースの保護方法は、通常、固定された安全ポリシーのみの下で訓練され、評価される。
本稿では,ロバストなアンセーフイメージガードレールに対する報酬を検証可能な強化学習ベース手法であるSafeGuard-VLを紹介する。
論文 参考訳（メタデータ） (2026-03-01T18:59:21Z) - Beyond Static Alignment: Hierarchical Policy Control for LLM Safety via Risk-Aware Chain-of-Thought [5.251527748612469]
大きな言語モデル(LLM)は、静的で一大の安全ポリシーのため、基本的な安全性のトレードオフに直面します。
我々は、明示的でリスクを意識した推論による動的安全制御のためのフレームワーク、textbfPACT(Prompt-Thought Action via Chain-of-Thought)を提案する。
論文 参考訳（メタデータ） (2026-02-06T12:20:01Z) - EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。
提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
論文 参考訳（メタデータ） (2025-07-10T17:57:46Z) - CSPI-MT: Calibrated Safe Policy Improvement with Multiple Testing for Threshold Policies [30.57323631122579]
我々は、経済、医療、デジタル広告の応用に関する、ユビキタスなポリシーであるしきい値ポリシーに焦点を当てている。
既存の方法は、潜在的に非力な安全チェックに依存し、安全な改善を見つける機会を制限する。
本手法は, 逆条件下では, 既定誤差レベルに対して, 基準値よりも悪いポリシーを採用する確率を制御できることが示される。
論文 参考訳（メタデータ） (2024-08-21T21:38:03Z) - Offline Reinforcement Learning with Closed-Form Policy Improvement
Operators [88.54210578912554]
行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。
本稿では,閉形式政策改善演算子を提案する。
我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
論文 参考訳（メタデータ） (2022-11-29T06:29:26Z) - Mutual Information Regularized Offline Reinforcement Learning [76.05299071490913]
我々は、データセットにおける状態と行動間の相互情報の観点から、オフラインRLにアプローチする新しいMISAフレームワークを提案する。
この下位境界の最適化は、オフラインデータセット上での一段階改善されたポリシーの可能性の最大化と等価であることを示す。
MISAの3つの異なる変種を導入し、より厳密な相互情報によりオフラインのRL性能が向上することを示した。
論文 参考訳（メタデータ） (2022-10-14T03:22:43Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2022-07-04T11:43:23Z) - Memory-Constrained Policy Optimization [59.63021433336966]
政策勾配強化学習のための制約付き最適化手法を提案する。
我々は、過去の幅広い政策を表す別の仮想ポリシーの構築を通じて、第2の信頼領域を形成します。
そして、我々は、新しいポリシーをバーチャルポリシーに近づき続けるよう強制する。
論文 参考訳（メタデータ） (2022-04-20T08:50:23Z) - Preventing Imitation Learning with Adversarial Policy Ensembles [79.81807680370677]
模倣学習は、政策プライバシに関する問題を引き起こす専門家を観察することで、ポリシーを再現することができる。
プロプライエタリなポリシーをクローンする外部オブザーバに対して、どうすれば保護できるのか?
新しい強化学習フレームワークを導入し、準最適政策のアンサンブルを訓練する。
論文 参考訳（メタデータ） (2020-01-31T01:57:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。