Fugu-MT 論文翻訳(概要): Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

論文の概要: Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

arxiv url: http://arxiv.org/abs/2607.02914v1
Date: Fri, 03 Jul 2026 03:19:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-07 22:26:29.456802
Title: Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models
Title（参考訳）: Oyster-II:大規模言語モデルにおける構成的安全アライメントのための強化学習
Abstract要約: Oyster-IIは強化学習に基づく建設安全アライメントフレームワークである。 Qwen3-14Bと前任のOyster-Iを総合的に上回っている。
参考スコア（独自算出の注目度）: 18.740561845552833
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large language models (LLMs) have demonstrated remarkable capabilities across diverse applications, yet ensuring their simultaneous safety, helpfulness, and trustworthiness remains a persistent challenge. Conventional refusal-oriented alignment strategies mitigate harmful content generation but systematically fail to serve legitimate user needs, often withholding information that could safely and constructively address the underlying intent of sensitive queries. Building upon the constructive safety paradigm pioneered by Oyster-I, which moves beyond blanket refusal toward thoughtful, response-oriented safety alignment, we identify two critical limitations of its Supervised Fine-Tuning (SFT)-based scheme: insufficient safety generalization to out-of-distribution scenarios and a phenomenon we term safety chain-of-thought (CoT) over-generalization, wherein safety-oriented reasoning patterns are excessively applied to benign queries, degrading helpfulness and user experience. To address these limitations, we propose Oyster-II, a reinforcement learning (RL)-based constructive safety alignment framework that adopts a Zero-RL paradigm combined with a multi-stage reinforcement learning strategy.Evaluated across extensive benchmarks, Oyster-II comprehensively surpasses both Qwen3-14B and its predecessor Oyster-I on safety dimensions, achieving cross-scale performance comparable to Qwen3-Max and Qwen3.5-397B.
Abstract（参考訳）: 大規模言語モデル(LLM)は、多様なアプリケーションにまたがる顕著な機能を示しているが、同時に安全性、有用性、信頼性を保証することは、依然として永続的な課題である。従来の拒絶指向アライメント戦略は、有害なコンテンツ生成を緩和するが、体系的には正当なユーザニーズに対応できず、しばしば機密クエリの基本的な意図を安全かつ構築的に解決できる情報を保持する。 Oyster-Iの先駆的な建設的安全パラダイムは、ブランケットの拒絶から、思慮深い応答指向の安全性アライメントへと、そのスーパービジョン・ファインチューニング(SFT)ベースのスキームの2つの重要な限界を識別するものである。これらの制約に対処するため,Zero-RLパラダイムと多段階強化学習戦略を組み合わせた強化学習(RL)に基づく建設安全アライメントフレームワークであるOyster-IIを提案する。

関連論文リスト

SAGE-LLM: Towards Safe and Generalizable LLM Controller with Fuzzy-CBF Verification and Graph-Structured Knowledge Retrieval for UAV Decision [46.089736018739295]
大型言語モデル (LLM) には、ドメイン固有のUAV制御知識と正式な安全保証がない。本稿では,LLMに基づく列車自由な2層決定アーキテクチャを提案し,低レベルの高精度制御と高レベルの安全計画を統合する。
論文参考訳（メタデータ） (2026-02-27T06:41:04Z)
BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。 BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
論文参考訳（メタデータ） (2026-02-23T18:19:46Z)
Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
論文参考訳（メタデータ） (2026-01-31T13:06:11Z)
SafeThinker: Reasoning about Risk to Deepen Safety Beyond Shallow Alignment [43.86865924673546]
軽量なゲートウェイ分類器を介して防御資源を割り当てる適応型フレームワークであるSafeThinkerを提案する。実験によると、SafeThinkerは、堅牢性を損なうことなく、さまざまなジェイルブレイク戦略における攻撃の成功率を大幅に低下させる。
論文参考訳（メタデータ） (2026-01-23T07:12:53Z)
Reasoning over Precedents Alongside Statutes: Case-Augmented Deliberative Alignment for LLM Safety [59.01189713115365]
本研究は, 広範囲な安全コードを明確に指定することによる影響を, 図示的事例を通して示すことよりも評価する。明示的なコードを参照することで、無害性が向上し、系統的に有用性が低下することがわかった。自己生成型安全推論チェーンの強化学習を利用したLLMのケース拡張型検討アライメント手法であるCADAを提案する。
論文参考訳（メタデータ） (2026-01-12T21:08:46Z)
Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
論文参考訳（メタデータ） (2025-09-29T07:41:09Z)
LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
論文参考訳（メタデータ） (2025-09-24T07:31:54Z)
Thought Purity: A Defense Framework For Chain-of-Thought Attack [16.56580534764132]
本稿では,悪意のあるコンテンツに対する抵抗性を高めつつ,操作効率を保ちつつ,その耐性を高めるフレームワークであるThought Purityを提案する。本手法は,強化学習型推論システムにおけるCoTA脆弱性に対する最初の包括的防御機構を確立する。
論文参考訳（メタデータ） (2025-07-16T15:09:13Z)
Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation [52.626086874715284]
我々は、安全でない出力の階層構造を検証する抽象的DNN検証と呼ばれる新しい問題定式化を導入する。出力到達可能な集合に関する抽象的解釈と推論を活用することにより,形式的検証プロセスにおいて,複数の安全性レベルを評価することができる。我々の貢献には、新しい抽象的安全性の定式化と既存のアプローチとの関係を理論的に探求することが含まれる。
論文参考訳（メタデータ） (2025-05-08T13:29:46Z)
SAFER: Advancing Safety Alignment via Efficient Ex-Ante Reasoning [51.78514648677898]
我々は,eFficient Ex-Ante Reasoningによる安全アライメントの枠組みであるSAFERを提案する。提案手法は,初期評価,ルール検証,経路校正などを通じて,構造化されたex-Ante推論をインスタンス化する。複数のオープンソース LLM の実験により,SAFER は有用性と応答効率を保ちながら安全性を著しく向上することが示された。
論文参考訳（メタデータ） (2025-04-03T16:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。