論文の概要: Can Native Safety Travel? Reusing Safety Pretraining Across Models via On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.27555v1
• Date: Tue, 20 Oct 2026 03:13:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.598654
• Title: Can Native Safety Travel? Reusing Safety Pretraining Across Models via On-Policy Distillation
• Title（参考訳）: ネイティブ・セーフティ・トラベルは可能か?
• Abstract要約: 安全事前訓練は、事前訓練中にモデルに安全性を深く組み込むための有望なパラダイムとして現れている。 しかし、原住民の安全は取得に費用がかかり、事前訓練されたモデルに限られている。 自然の安全は、オン・ポリケーション蒸留を通じて「旅行」できることを示す。
• 参考スコア（独自算出の注目度）: 29.448731081420117
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Safety pretraining has emerged as a promising paradigm for embedding safety deeply into a model during pretraining, yielding robustness to subsequent fine-tuning that conventional safety post-training often lacks. We refer to this safety acquired during model pretraining as native safety. Yet native safety is expensive to acquire, confined to the model in which it was pretrained, and often accompanied by lower general utility. In this work, we rethink the practical value of safety-pretrained models and introduce, for the first time, the native safety reuse problem: Can native safety be transferred from a specialized, potentially smaller, safety-pretrained "teacher" to standard-pretrained "students," enabling them to inherit its robustness while preserving their general utility? We show that native safety can "travel" through on-policy distillation. A standard-pretrained student generates responses to safety-pretraining prompts, while a small safety-pretrained teacher supervises the student's token-level predictions along its own generated trajectories; cross-tokenizer alignment further enables transfer across model families. The resulting students exhibit substantially greater safety robustness than their safety-post-trained counterparts while retaining higher general utility than the teacher: subsequent fine-tuning raises the average attack success rate (ASR) of the 1.7B student by only 5.00%, compared with 11.58% for safety post-training, and its average utility of 48.20% far exceeds the aligned teacher's 27.42%. Unlike conventional large-to-small knowledge distillation, our framework enables selective, small-to-large safety transfer: it reuses the robust safety expertise of a smaller pretrained teacher without inheriting its utility limitations. These findings establish native safety as a reusable model property rather than one permanently tied to the originally pretrained model.
• Abstract（参考訳）: 安全事前訓練は、事前訓練中にモデルに安全性を深く埋め込むための有望なパラダイムとして現れており、従来の安全後訓練にしばしば欠かせない、後続の微調整に堅牢性をもたらす。 我々は、モデル事前訓練中に得られたこの安全性を、ネイティブセーフティと呼ぶ。 しかし、ネイティブ・セーフティは取得が高価であり、事前訓練されたモデルに限られており、しばしばより低い汎用性を伴う。 本研究は,安全を前提としたモデルの実用的価値を再考し,自然の安全再利用問題を初めて導入する。 自然の安全を,より小さく,より小さく,より安全を前提とした「教師」から,標準的に制約された「学生」に移行することが可能で,汎用性を維持しつつ,その堅牢性を継承することができるのか? 自然の安全は、オン・ポリケーション蒸留を通じて「旅行」できることを示す。 標準事前学習者は、安全予知プロンプトに対する応答を生成し、小さな安全予知教師は、自作の軌跡に沿って学生のトークンレベルの予測を監督し、クロストケナイザアライメントにより、モデルファミリ間の転送を可能にする。 その後の微調整では1.7Bの学生の平均攻撃成功率(ASR)がわずか5.00%上昇し、安全後トレーニングの11.58%、48.20%が同級生の27.42%を上回った。 従来の大規模から小規模の知識蒸留とは異なり、我々のフレームワークは選択的かつ小規模から大規模への安全移転を可能にし、実用的制約を継承することなく、より小規模の教員の堅牢な安全専門知識を再利用する。 これらの結果から,元々の事前学習モデルと永久に結びついたモデルではなく,再利用可能なモデル特性として,自然の安全性が確立された。

関連論文リスト

• Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability [39.59126414173047]
  大規模言語モデル(LLM)の安全性アライメントは主にポストトレーニング中に行われる。 近年では、安全データを事前訓練に取り入れる作業も始まっている。 しかし、後続のトレーニングに安全データが含まれない場合、安全性は低下する可能性がある。
  論文  参考訳（メタデータ） (2026-10-19T17:49:49Z)
• Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection [14.316667931249993]
  トレーニング済みのアライメントは、データを安全にする以上のものだ、と私たちは主張する。 FineWeb-Eduで事前訓練した1.7Bモデルによる実験により,安全反射事前訓練が安全性の分類精度を向上させることが示された。 この結果から,トレーニング前のアライメントはトレーニングデータを安全にするだけでなく,モデルが安全なデータから取得する可能性のある行動を形作るべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-17T15:11:43Z)
• Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation [22.972195366680694]
  安全アライメントは、しばしば推論能力の犠牲で有害なクエリに対する堅牢性を改善する。 OPSAと呼ばれる安全アライメントのための自己蒸留法について検討した。 OPSAは、外部の自己蒸留や外部のティーチンガー蒸留よりも安全性の高いトレードオフを実現している。
  論文  参考訳（メタデータ） (2026-05-14T03:40:07Z)
• Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning [2.9184958249079975]
  既存の防衛は、限られた保護を提供するか、安全と実用性の間のトレードオフを強制する。 安全リスクに応じて正規化を適応するトレーニングフレームワークを導入する。 前世代の活性化から有害な意図信号が予測可能であることを実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-19T16:59:54Z)
• When Should We Introduce Safety Interventions During Pretraining? [100.3502954292386]
  先行研究は、有害な内容の表現などの事前訓練の介入が、結果のモデルの安全性を大幅に向上させることを示した。 介入の導入は一般的に、過度な拒絶率の増加を伴わない、より堅牢なモデルをもたらす。 また、より安全な世代に向けたモデルのステアビリティにも明らかなメリットがあると考えています。
  論文  参考訳（メタデータ） (2026-01-11T22:38:17Z)
• Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
  モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。 我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。 我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
  論文  参考訳（メタデータ） (2025-04-23T17:58:08Z)
• Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
  我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。 我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。 UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
  論文  参考訳（メタデータ） (2025-03-14T17:00:22Z)
• Probabilistic Shielding for Safe Reinforcement Learning [51.35559820893218]
  現実のシナリオでは、強化学習(RL)エージェントはトレーニング時間を含む安全な振る舞いをしなければならない。 我々は,Safe RLの厳密な保証を享受する,スケーラブルな新しい手法を提案する。 当社のアプローチは、トレーニングやテスト時にエージェントが安全であることを保証する厳格な公式な安全保証を提供する。
  論文  参考訳（メタデータ） (2025-03-09T17:54:33Z)
• Vulnerability Mitigation for Safety-Aligned Language Models via Debiasing [12.986006070964772]
  安全性アライメントは、現実世界のAIアプリケーションにとって重要な研究トピックである。 本研究はまず,モデルの有用性を犠牲にすることなく,このような脆弱性を除去することの難しさを明らかにした。 本手法は,安全性を維持しつつモデルの有用性を高め,トレードオフを改善できる。
  論文  参考訳（メタデータ） (2025-02-04T09:31:54Z)
• Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions [79.1824160877979]
  いくつかの一般的な命令調整モデルは非常に安全でないことを示す。 私たちの安全チューニングは、標準ベンチマークによって測定されたモデルの性能や有用性を著しく低下させません。
  論文  参考訳（メタデータ） (2023-09-14T17:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。