Fugu-MT 論文翻訳(概要): Beyond Refusal Patterns: Safe-Role Internalization for Robust and Generalizable LLM Safety Alignment

論文の概要: Beyond Refusal Patterns: Safe-Role Internalization for Robust and Generalizable LLM Safety Alignment

arxiv url: http://arxiv.org/abs/2610.07023v1
Date: Sun, 04 Oct 2026 15:50:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 02:58:29.51261
Title: Beyond Refusal Patterns: Safe-Role Internalization for Robust and Generalizable LLM Safety Alignment
Title（参考訳）: 拒絶パターンを超えて:ロバストで一般化可能なLLM安全アライメントのためのセーフロール内部化
Abstract要約: 本稿では,安全アライメントをセーフロールの内部化として再構成する最初のフレームワークであるSSRFTを紹介する。実験により、SSRFTは標準のSFTよりも堅牢で一般化可能な安全アライメントを実現することが示された。これらの結果は、リフレクション中心の安全アライメントの効果的な代替手段として、セーフロール内部化を確立する。
参考スコア（独自算出の注目度）: 29.613482001589347
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have achieved remarkable capabilities but remain vulnerable to jailbreak attacks that elicit harmful or unsafe outputs. Existing safety alignment approaches, including Supervised Fine-Tuning (SFT) and Reinforcement Learning from Human Feedback (RLHF), often require substantial attack-specific supervision and computational resources, while remaining susceptible to shallow safety alignment and over-refusal. To address these challenges, we introduce SSRFT(Supervised Safe-Role Fine-Tuning), the first framework that reformulates safety alignment as the internalization of a predefined safe role. SSRFT constructs a Safe-Role Question-Answer (SRQA) dataset from psychometric questions, limited jailbreak prompts, and a safe-role description. Role-consistent responses are synthesized, validated, and expanded into diverse scenarios, enabling models to internalize safety-oriented values and principles rather than explicit refusal patterns. Experiments across multiple Base and Instruct models show that SSRFT achieves more robust and generalizable safety alignment than standard SFT. SSRFT shows substantially greater robustness to prefilling attacks and better generalization to unseen jailbreak domains, while reducing over-refusal on benign queries and preserving the model's general capabilities. These results establish safe-role internalization as an effective alternative to refusal-centric safety alignment. Warning: This paper contains examples of harmful and toxic language.
Abstract（参考訳）: 大きな言語モデル(LLM)は目覚ましい能力を達成したが、有害または安全でない出力を誘発するジェイルブレイク攻撃に弱いままである。 Supervised Fine-Tuning (SFT) や Reinforcement Learning from Human Feedback (RLHF) といった既存の安全アライメントアプローチでは、攻撃固有の監督と計算資源を必要とすることが多いが、一方で、浅い安全アライメントや過剰な拒絶の影響を受けやすい。これらの課題に対処するために,安全アライメントを予め定義された安全ロールの内部化として再構築する最初のフレームワークであるSSRFT(Supervised Safe-Role Fine-Tuning)を導入する。 SSRFTは、心理的な質問、限定されたジェイルブレイクプロンプト、安全なロール記述から安全なロール質問回答(SRQA)データセットを構築する。ロール一貫性の応答は、明確な拒絶パターンではなく、モデルが安全指向の値と原則を内部化できるように、さまざまなシナリオに合成され、検証され、拡張されます。複数のベースモデルとインストラクトモデルによる実験により、SSRFTは標準のSFTよりも堅牢で、より一般化可能な安全アライメントを実現している。 SSRFTは、未確認のジェイルブレイクドメインに対する攻撃のプリフィル化と、良質なクエリに対する過剰な拒否を減らし、モデルの一般的な能力を保ちながら、より高度な汎用性を示す。これらの結果は、リフレクション中心の安全アライメントの効果的な代替手段として、セーフロール内部化を確立する。警告: 本論文は有害で有害な言語の一例を含む。

関連論文リスト

Adaptive and Explicit safe: Triggering Latent Safety Awareness in Large Reasoning Models [31.940554924036807]
大規模推論モデル(LRM)は、高度なジェイルブレイクや直接的な有害なクエリに対して非常に脆弱である。我々は、安全分析とガイダンスをトリガーする安全なタグを明示的に誘導するために、Supervised Fine-Tuning (SFT) を採用している。また、安全分析およびガイダンスの正確性と安定性をさらに高めるために、直接選好最適化(DPO)を適用した。
論文参考訳（メタデータ） (2026-06-15T14:51:34Z)
Internalizing Safety Understanding in Large Reasoning Models via Verification [33.2377930782685]
本稿では,安全確認タスクにのみ焦点をあてた LRM のトレーニングにより,安全性仕様を内部化するフレームワークを提案する。検証の学習は、応答安全性の強力な一般化を誘導し、ドメイン外ジェイルブレイクに対する堅牢性を著しく向上させることを示した。
論文参考訳（メタデータ） (2026-05-09T13:05:00Z)
BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。 BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
論文参考訳（メタデータ） (2026-02-23T18:19:46Z)
SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization [79.14563283347773]
マルチモーダルな大言語モデル (MLLM) は印象的な推論と命令追従能力を示した。クロスモーダル結合は、個々の入力が良性である場合でも、安全でないセマンティクスを生成する。自己回帰型マルチモーダル安全アライメントフレームワークであるSafeGRPOを提案する。
論文参考訳（メタデータ） (2025-11-17T05:09:49Z)
Safe-SAIL: Towards a Fine-grained Safety Landscape of Large Language Models via Sparse Autoencoder Interpretation Framework [31.278770676774325]
大規模言語モデル(LLM)内でのSAE機能を解釈するフレームワークであるSafe-SAILを提案する。提案手法は,SAEを最も優れた概念特異的解釈可能性で体系的に識別し,安全性関連ニューロンを説明し,解釈プロセスをスケールアップするための効率的な戦略を導入する。
論文参考訳（メタデータ） (2025-09-11T11:22:43Z)
Shape it Up! Restoring LLM Safety during Finetuning [65.75757313781104]
大型言語モデル(LLM)の微調整は、ユーザ固有のカスタマイズを可能にするが、重大な安全性リスクをもたらす。動的安全整形(DSS)は,不安全コンテンツを抑えつつ,応答の安全な部分からの学習を強化するための,きめ細かい安全信号を用いたフレームワークである。 STARスコアによって導かれるSTAR-DSSは、微調整リスクを堅牢に軽減し、多様な脅威、データセット、モデルファミリーにまたがる大幅な安全性の向上を提供する。
論文参考訳（メタデータ） (2025-05-22T18:05:16Z)
SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。 LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
論文参考訳（メタデータ） (2025-05-22T03:46:03Z)
Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking [54.10710423370126]
本稿では,大規模言語モデルの生成プロセスに安全性を考慮した推論機構を統合する訓練パラダイムであるReasoning-to-Defend(R2D)を提案する。 CPOは、与えられた対話の安全性に対するモデルの認識を高める。実験によると、R2Dは様々な攻撃を効果的に軽減し、元の性能を維持しながら全体の安全性を向上させる。
論文参考訳（メタデータ） (2025-02-18T15:48:46Z)
Superficial Safety Alignment Hypothesis [15.215130286922564]
本稿では,安全アライメントが安全でないモデルに正しい推論方向を選択することを示唆する,表層安全アライメント仮説(SSAH)を提案する。属性クリティカルなコンポーネントは,安全性クリティカルユニット(SCU),ユーティリティクリティカルユニット(UCU),コンプレックスユニット(CU),冗長ユニット(RU)の4種類に分類する。実験結果から, 微調整中に特定の安全クリティカル成分を凍結することで, 新たな作業に適応しながら, 安全性特性を維持できることが判明した。
論文参考訳（メタデータ） (2024-10-07T19:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。