論文の概要: Safety Training Modulates Harmful Misalignment Under On-Policy RL, But Direction Depends on Environment Design

• arxiv url: http://arxiv.org/abs/2604.12500v1
• Date: Tue, 14 Apr 2026 09:26:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.374763
• Title: Safety Training Modulates Harmful Misalignment Under On-Policy RL, But Direction Depends on Environment Design
• Title（参考訳）: 安全教育は環境設計に依存しつつも, オン・ポリティィRL下での悪質なミスアライメントを修飾する
• Authors: Leon Eshuijs, Shihan Wang, Antske Fokkens,
• Abstract要約: 我々は3つの環境にまたがるオンラインRLで11の命令調整LDM(0.5B--14B)を訓練する。 いくつかの環境ではモデルサイズが安全バッファとして機能するが、他の環境ではより有害なエクスプロイトを可能にする。
• 参考スコア（独自算出の注目度）: 4.5192079454688905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Specification gaming under Reinforcement Learning (RL) is known to cause LLMs to develop sycophantic, manipulative, or deceptive behavior, yet the conditions under which this occurs remain unclear. We train 11 instruction-tuned LLMs (0.5B--14B) with on-policy RL across 3 environments and find that model size acts as a safety buffer in some environments but enables greater harmful exploitation in others. Controlled ablations trace this reversal to environment-specific features such as role framing and implicit gameability cues. We further show that most safety benchmarks do not predict RL-induced misalignment, except in the case of Sycophancy scores when the exploit relies on inferring the user's preference. Finally, we find that on-policy RL preserves a safety buffer inherent in the model's own generation distribution, one that is bypassed during off-policy settings.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)の下での仕様ゲームは、LSMがシコファン性、マニピュラ性、または偽りの振る舞いを発達させることで知られているが、それが起こる条件はいまだ不明である。 我々は3つの環境におけるモデルサイズが安全バッファとして機能するが、他の環境においてより有害な利用を可能にすることを見出した上で、11の命令調整LDM(0.5B--14B)をオンポリシ・RLで訓練する。 制御された短縮は、ロールフレーミングや暗黙のゲーム容易性といった環境特有の特徴にこの逆転を辿る。 さらに,ほとんどの安全ベンチマークでは,ユーザの嗜好の推測に頼っている場合のSycophancyスコアを除いて,RLによる誤調整を予測できないことが示されている。 最後に、オンポジーRLは、オフポジー設定時にバイパスされるモデル自身の生成分布に固有の安全バッファを保持する。

関連論文リスト

• Steering Frozen LLMs: Adaptive Social Alignment via Online Prompt Routing [37.86964394689924]
  本稿では,システムプロンプトルーティングによる適応型社会アライメントのための統合フレームワークであるConsensus Clustering LinUCB Bandit(CCLUB)を紹介する。 CCLUBは保守的なコンセンサスクラスタリング機構を採用しており、セマンティックに近づいたがリスク分散したコンテキストにおける安全でない一般化を効果的に防いでいる。 理論的解析により,CCLUBのほぼ最適性能を示すサブ線形後悔保証が得られる。
  論文  参考訳（メタデータ） (2026-03-04T08:00:16Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• Safe Reinforcement Learning using Action Projection: Safeguard the Policy or the Environment? [12.149835744096748]
  安全環境RL(SE-RL)と安全政策RL(SP-RL)の2つの統合戦略が一般的である。 安全クリティカルな設定の実践的関連性にもかかわらず、それらの相違点に関する正式な理解は欠如している。 我々は、複数の安全でないアクションが同じ安全なアクションに投影される現象であるアクションエイリアスによって、それぞれのアプローチがどのように影響を受けるかにおいて、重要な違いを識別する。
  論文  参考訳（メタデータ） (2025-09-16T08:56:38Z)
• LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning [61.594212398272184]
  Low-Rank Extrapolation (LoX)は、良質で悪意のある微調整攻撃に対する堅牢性を改善する。 LoXは攻撃成功率を11%から54%に下げる。
  論文  参考訳（メタデータ） (2025-06-18T16:30:02Z)
• Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To! [88.90694413503614]
  LLMの安全性は微調整によって損なわれる可能性がある。 我々は、GPT-3.5の安全ガードレールを10種類の例で微調整することで、脱獄した。 我々は、協調LLMのカスタム微調整のための安全プロトコルの強化に向けたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-10-05T17:12:17Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Safe Reinforcement Learning via Shielding for POMDPs [29.058332307331785]
  安全クリティカルな環境での強化学習(RL)は、破滅的な結果の決定を避けるためにエージェントを必要とする。 我々は,PMDPと最先端の深部RLアルゴリズムの密結合性について検討し,徹底的に評価する。 我々は、シールドを用いたRLエージェントが安全であるだけでなく、期待される報酬のより高い値に収束することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-04-02T03:51:55Z)
• Minimizing Safety Interference for Safe and Comfortable Automated Driving with Distributional Reinforcement Learning [3.923354711049903]
  そこで本稿では,望ましい快適さと実用性に基づいて,実行時の保守性レベルを調整可能な適応ポリシーを学習するための分散強化学習フレームワークを提案する。 提案アルゴリズムは,認識ノイズが2倍高い場合にも信頼性を向上できるポリシを学習し,非閉塞交差点における自動マージと踏切の訓練構成を示す。
  論文  参考訳（メタデータ） (2021-07-15T13:36:55Z)
• Lyapunov Barrier Policy Optimization [15.364174084072872]
  本稿では,lyapunovベースのバリア関数を用いて,トレーニングイテレーション毎にポリシ更新をセーフセットに制限する手法であるlbpoを提案する。 また,本手法により,環境の制約に対して,エージェントの保守性を制御できる。
  論文  参考訳（メタデータ） (2021-03-16T17:58:27Z)
• Cautious Adaptation For Reinforcement Learning in Safety-Critical Settings [129.80279257258098]
  都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。 非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。 多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
  論文  参考訳（メタデータ） (2020-08-15T01:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。