論文の概要: SafeDiffusion-R1: Online Reward Steering for Safe Diffusion Post-Training

• arxiv url: http://arxiv.org/abs/2605.18719v1
• Date: Mon, 18 May 2026 17:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:50.211968
• Title: SafeDiffusion-R1: Online Reward Steering for Safe Diffusion Post-Training
• Title（参考訳）: SafeDiffusion-R1: 安全な拡散後トレーニングのためのオンラインリワードステアリング
• Authors: Komal Kumar, Ankan Deria, Abhishek Basu, Fahad Shamshad, Hisham Cholakkal, Karthik Nandakumar,
• Abstract要約: 拡散モデルは、事前学習中に学習した安全でないコンテンツを除去するために広く研究されている。 既存の手法では、安全でないテキストと安全な画像の基底と負の/正のイメージのペアを組み合わせて、高価な教師付きデータを必要とするため、スケールするのは現実的ではない。 ポストトレーニングによるデータ不足とモデル劣化に対処する新しいオンライン強化学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 47.04114541434947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have been widely studied for removing unsafe content learned during pre-training. Existing methods require expensive supervised data, either unsafe-text paired with safe-image groundtruth or negative/positive image pairs, making them impractical to scale. Furthermore, offline reinforcement learning and supervised fine-tuning approaches that generate synthetic data offline suffer from catastrophic forgetting, degrading generation quality. We propose a novel online reinforcement learning framework that addresses both data scarcity and model degradation through post-training with Group Relative Policy Optimization (GRPO) on both negative and positive text prompts. To eliminate the need for fine-tuning specialized safe/unsafe reward models, we introduce a \textit{steering reward mechanism} that exploits an inherent property of CLIP embeddings: steering text representations toward positive safety directions and away from negative ones in the embedding space. Our online-policy approach enables the model to learn from diverse prompts, including explicit unsafe content, without catastrophic forgetting. Extensive experiments demonstrate that our method reduces inappropriate content to 18.07\% (vs. 48.9\% for SD v1.4) and nudity detections to 15 (vs. 646 baseline) while improving compositional generation quality from 42.08\% to 47.83\% on GenEval. Remarkably, these safety gains generalize to out-of-domain unsafe prompts across seven harm categories, achieving state-of-the-art performance without supervised paired data or reward tuning. Github: https://github.com/MAXNORM8650/SafeDiffusion-R1.
• Abstract（参考訳）: 拡散モデルは、事前学習中に学習した安全でないコンテンツを除去するために広く研究されている。 既存の手法では、安全でないテキストと安全な画像の基底と負の/正のイメージのペアを組み合わせて、高価な教師付きデータを必要とするため、スケールするのは現実的ではない。 さらに、オフライン強化学習と、オフラインで合成データを生成する教師付き微調整アプローチは、破滅的な忘れ、劣化する生成品質に悩まされる。 本稿では,グループ相対政策最適化 (GRPO) による負と正の両方のテキストプロンプトによる後学習を通じて,データ不足とモデル劣化に対処する新しいオンライン強化学習フレームワークを提案する。 そこで本研究では,CLIP埋め込みの本質的特性を生かして,テキスト表現を肯定的な安全性の方向に向けて,かつ埋め込み空間の負の方向から遠ざけるような,微調整の特別なセーフ/アンセーフ報酬モデルの必要性を回避するために,CLIP埋め込みの固有の特性を利用する‘textit{steering reward mechanism’を導入する。 我々のオンライン政治アプローチは、大惨事な忘れをすることなく、明確な安全でないコンテンツを含む多様なプロンプトからモデルを学習することを可能にする。 実験の結果,不適切な内容が18.07 % (vs) に減少した。 48.9\%(SD v1.4)およびヌード検出を15(vs.646ベースライン)とし、GenEvalの合成生成品質を42.08\%から47.83\%に改善した。 注目すべきなのは、これらの安全性向上は、7つの危害カテゴリにわたるドメイン外の安全でないプロンプトに一般化し、教師付きペアデータや報酬チューニングなしで最先端のパフォーマンスを達成することである。 Github:https://github.com/MAXNORM8650/SafeDiffusion-R1。

関連論文リスト

• Training-Free Safe Text Embedding Guidance for Text-to-Image Diffusion Models [30.63803894651171]
  本研究では,拡散モデルの安全性を向上させるためのトレーニング不要アプローチであるセーフテキスト埋め込みガイダンス(STG)を提案する。 STGは、期待された最終識別画像に基づいて評価された安全性関数に基づいてテキスト埋め込みを調整する。 ヌード、暴力、アーティストスタイルの除去など、さまざまな安全シナリオの実験は、STGがトレーニングベースとトレーニングフリーベースラインの両方を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-10-28T02:37:20Z)
• A Guardrail for Safety Preservation: When Safety-Sensitive Subspace Meets Harmful-Resistant Null-Space [91.99501941169831]
  GuardSpaceは、微調整全体を通して安全アライメントを維持するためのガードレールフレームワークである。 GSM8Kで微調整されたLlama-2-7B-Chatでは、ガードスペースは最先端のAsFTよりも優れている。
  論文  参考訳（メタデータ） (2025-10-16T04:57:53Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
  モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。 我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。 我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
  論文  参考訳（メタデータ） (2025-04-23T17:58:08Z)
• POROver: Improving Safety and Reducing Overrefusal in Large Language Models with Overgeneration and Preference Optimization [36.27759448564185]
  汎用的なプロンプトのオーバージェネレーションは、有用性に最小限の影響しか与えず、安全性を著しく向上させる。 有害なプロンプトの過剰発現は安全性を維持しながら11.1%から57.6%に有用性を高める。 POROVerの適用により、57.6%から82.1%まで有用性が向上する一方で、同等レベルの安全性を維持している。
  論文  参考訳（メタデータ） (2024-10-16T19:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。