論文の概要: Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability

• arxiv url: http://arxiv.org/abs/2610.26809v1
• Date: Mon, 19 Oct 2026 17:49:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:16:25.084877
• Title: Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability
• Title（参考訳）: LLMの安全性を基礎的能力として内包する中級訓練の安全性
• Abstract要約: 大規模言語モデル(LLM)の安全性アライメントは主にポストトレーニング中に行われる。 近年では、安全データを事前訓練に取り入れる作業も始まっている。 しかし、後続のトレーニングに安全データが含まれない場合、安全性は低下する可能性がある。
• 参考スコア（独自算出の注目度）: 39.59126414173047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety alignment for large language models (LLMs) is primarily performed during post-training, while recent work has also begun incorporating safety data into pre-training. Yet safety can degrade when later training no longer includes safety data, and gains in safety often come at the cost of general capability. This tension suggests that safety and general reasoning should not be treated as separate training goals. We instead view safety as an LLM capability that can be learned through a reasoning structure shared with general tasks. Both require the model to understand intent or task goals, apply relevant knowledge, and reason about potential consequences. We introduce safety mid-training, a stage between pre-training and post-training that jointly develops safety and general reasoning through this shared structure. Given safety and utility prompts, the base model generates structured documents and reasoning traces that are then used for mid-training. Safety mid-training reduces average attack success rate (ASR) by 72% to 81% relative to Qwen3-1.7B, 4B, and 8B base models, while also improving general capability. The benefits persist through subsequent post-training. After general-only SFT, mid-trained models largely retain their safety, achieving lower ASR than the baselines without sacrificing general capability. They also retain safety under general-only GRPO without safety rewards, while subsequent RL reaches a better safety-utility frontier when initialized from the mid-trained models. Together, these results suggest that learning safety and general reasoning within a shared mid-training stage can reduce the safety-utility trade-off and make safety more robust to subsequent training.
• Abstract（参考訳）: 大規模言語モデル(LLM)の安全性アライメントは、主にポストトレーニング中に行われ、最近の研究では、安全データを事前トレーニングに組み入れている。 しかし、後のトレーニングで安全データが含まれなくなった場合、安全性は低下する可能性がある。 この緊張は、安全と一般的な推論を別々のトレーニング目標として扱うべきではないことを示唆している。 安全性は、一般的なタスクと共有される推論構造を通じて学習できるLLM機能である、と私たちは考えています。 どちらも、意図やタスクの目標を理解し、関連する知識を適用し、潜在的な結果について推論するモデルが必要です。 我々は,この共有構造を通して,安全性と一般的な推論を共同で発展させる,事前訓練と後訓練の段階である安全中間訓練を導入する。 安全性とユーティリティのプロンプトが与えられた場合、ベースモデルは構造化文書と推論トレースを生成し、そのトレースは中級トレーニングに使用される。 安全性のミッドトレーニングは、Qwen3-1.7B、4B、および8Bベースモデルと比較して平均攻撃成功率(ASR)を72%から81%削減し、汎用性も向上した。 この効果は後続の訓練を経て継続する。 一般限定のSFTの後、中級訓練されたモデルは安全性を保ち、一般的な能力を犠牲にすることなく、ベースラインよりも低いASRを実現した。 また、安全報酬のない一般専用のGRPOの下では安全を維持し、その後、訓練中のモデルから初期化されると、RLはより優れた安全ユーティリティフロンティアに達する。 これらの結果から,共有中等教育段階における学習の安全性と一般的な推論は,安全性と実用性のトレードオフを低減し,その後のトレーニングにおいて安全性をより堅牢にする可能性が示唆された。

関連論文リスト

• Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection [14.316667931249993]
  トレーニング済みのアライメントは、データを安全にする以上のものだ、と私たちは主張する。 FineWeb-Eduで事前訓練した1.7Bモデルによる実験により,安全反射事前訓練が安全性の分類精度を向上させることが示された。 この結果から,トレーニング前のアライメントはトレーニングデータを安全にするだけでなく,モデルが安全なデータから取得する可能性のある行動を形作るべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-17T15:11:43Z)
• Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning [2.9184958249079975]
  既存の防衛は、限られた保護を提供するか、安全と実用性の間のトレードオフを強制する。 安全リスクに応じて正規化を適応するトレーニングフレームワークを導入する。 前世代の活性化から有害な意図信号が予測可能であることを実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-19T16:59:54Z)
• Breaking the Safety-Capability Tradeoff: Reinforcement Learning with Verifiable Rewards Maintains Safety Guardrails in LLMs [3.198812241868092]
  検証可能な報酬(RLVR)による強化学習は、客観的に測定可能なタスクのモデルを最適化する有望な代替手段として登場した。 RLVRにおける安全特性の総合的・実証的な分析を行った。 実証実験により,RLVRは安全ガードレールの維持・改善を図りながら推論能力を同時に向上できることを示す。
  論文  参考訳（メタデータ） (2025-11-26T04:36:34Z)
• SafeWork-R1: Coevolving Safety and Intelligence under the AI-45$^{\circ}$ Law [91.33824439029533]
  我々は,機能と安全性の共進化を示す最先端のマルチモーダル推論モデルであるSafeWork-R1を紹介する。 大規模でプログレッシブで安全指向の強化学習をポストトレーニングに取り入れたSafeLadderフレームワークを開発した。 さらに,SafeWork-R1-InternVL3-78B,SafeWork-R1-DeepSeek-70B,SafeWork-R1-Qwen2.5VL-7Bを開発した。
  論文  参考訳（メタデータ） (2025-07-24T16:49:19Z)
• Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
  モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。 我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。 我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
  論文  参考訳（メタデータ） (2025-04-23T17:58:08Z)
• Equilibrate RLHF: Towards Balancing Helpfulness-Safety Trade-off in Large Language Models [24.168387024091082]
  人間の好みに基づく微調整型大規模言語モデル(LLM)は,その性能向上に有効である。 微調整プロセスを通して安全性を維持することは、依然として大きな課題である。 トレーニングデータが少ない場合でも安全性を向上する平衡RLHFフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:40:30Z)
• Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
  シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である 安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。