論文の概要: No Safe Dose: How Training Data Drives Unsafe Image Generation

• arxiv url: http://arxiv.org/abs/2605.28137v1
• Date: Wed, 27 May 2026 08:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.887968
• Title: No Safe Dose: How Training Data Drives Unsafe Image Generation
• Title（参考訳）: 安全ではない: トレーニングデータの安全でない画像生成の方法
• Authors: Felix Friedrich, Lukas Helff, Niharika Hegde, Patrick Schramowski, Kristian Kersting,
• Abstract要約: 安全でない画像のごく一部が異なるデータセットに対して、テキスト・ツー・イメージモデルをトレーニングする。 出力不安全は、0%の汚染で16.6%から5%の汚染で25.5%へと単調に上昇する。 FID、CLIPscore、ImageRewardは安全フィルタリングを伴わない。
• 参考スコア（独自算出の注目度）: 39.78541827353741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image models trained on large-scale data often inevitably ingest unsafe content. While some people observe input-output amplifications, it remains unclear whether and how training data composition directly drives model output safety or by other factors. We shed light on this question by isolating this variable: we train the same text-to-image model on datasets that differ \emph{only} in their fraction of unsafe images (0\% to 9.6\%), across several dataset scales (100K to 8M). Then we generate images with the resulting models, and evaluate them with four independent safety classifiers. Output unsafety rises monotonically from 16.6\% at 0\% contamination to 25.5\% at 5\%. A factorial design reveals that the \emph{proportion}, not the absolute count, of unsafe training images is the operative variable. The 16.6\% irreducible baseline at zero contamination implicates the other components, e.g. frozen text encoder, as a residual safety risk -- confirmed by a text encoder ablation showing that SafeCLIP reduces this floor to 9.6\%, while the dose-response effect persists across all three encoders tested. Critically, no quality degradation in terms of FID, CLIPscore and ImageReward accompanies safety filtering. These results establish that data curation and text encoder safety are complementary and independently effective interventions. At the same time, the remaining level of unsafety poses questions for future research about emerging capabilities and compositionality.
• Abstract（参考訳）: 大規模なデータに基づいてトレーニングされたテキスト・ツー・イメージモデルは、しばしば必然的に安全でないコンテンツを取り込みます。 インプット・アウトプット・アンプリフィケーションを観察する人もいるが、トレーニングデータの構成がモデル出力の安全性を直接的に駆動するか、それとも他の要因によって駆動するかは定かではない。 私たちは、いくつかのデータセットスケール(100Kから8M)で、安全でない画像(0\%から9.6\%)の分数で異なるデータセットで、同じテキスト・ツー・イメージモデルをトレーニングします。 そして、得られたモデルを用いて画像を生成し、4つの独立した安全分類器で評価する。 出力不安全は、0 % の汚染で 16.6 % から 5 % の汚染で 25.5 % まで単調に上昇する。 因子的設計により、安全でない訓練画像の絶対数ではなく、emph{proportion} が操作変数であることが分かる。 ゼロ汚染時の16.6\%の既約ベースラインは、他のコンポーネント、例えば、凍結されたテキストエンコーダを残留安全性のリスクとして含み、SafeCLIPがこのフロアを9.6\%に減らし、3つのエンコーダでテストされた線量応答効果が持続することを示すテキストエンコーダアブレーションによって確認された。 重要な点として、FID、CLIPscore、ImageRewardなどの品質劣化は安全フィルタリングに伴わない。 これらの結果から,データキュレーションとテキストエンコーダの安全性は相補的かつ独立に有効な介入であることが確認された。 同時に、残りのレベルの不安は、新しい能力と構成性に関する将来の研究に疑問を呈する。

関連論文リスト

• SafeDiffusion-R1: Online Reward Steering for Safe Diffusion Post-Training [47.04114541434947]
  拡散モデルは、事前学習中に学習した安全でないコンテンツを除去するために広く研究されている。 既存の手法では、安全でないテキストと安全な画像の基底と負の/正のイメージのペアを組み合わせて、高価な教師付きデータを必要とするため、スケールするのは現実的ではない。 ポストトレーニングによるデータ不足とモデル劣化に対処する新しいオンライン強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-18T17:50:04Z)
• The frame-level leakage trap: rethinking evaluation protocols for intrinsic image decomposition, with source-separable uncertainty as a case study [0.0]
  3つのアーキテクチャで、初めてリーク効果を定量化します。 フレームレベルスプリットは、シーンレベルスプリットに対してR_PSNRを1.6〜2.0dB膨張させる。 我々は、S + N で構成された物理インフォームド分解 I = R を、ソース分離可能な三方向不確実性ヘッドで表現する。
  論文  参考訳（メタデータ） (2026-05-07T14:37:16Z)
• Training-Free Safe Text Embedding Guidance for Text-to-Image Diffusion Models [30.63803894651171]
  本研究では,拡散モデルの安全性を向上させるためのトレーニング不要アプローチであるセーフテキスト埋め込みガイダンス(STG)を提案する。 STGは、期待された最終識別画像に基づいて評価された安全性関数に基づいてテキスト埋め込みを調整する。 ヌード、暴力、アーティストスタイルの除去など、さまざまな安全シナリオの実験は、STGがトレーニングベースとトレーニングフリーベースラインの両方を一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-10-28T02:37:20Z)
• SafetyPairs: Isolating Safety Critical Image Features with Counterfactual Image Generation [5.313750874857107]
  安全ポリシーに関連する機能にのみ異なる、対物的な画像を生成するためのフレームワークであるSafetyPairsを紹介する。 SafetyPairsを使って、評価データの強力なソースとなる新しい安全ベンチマークを構築します。 我々は,9つの安全カテゴリーの分類学にまたがる3,020以上のSafetyPair画像を含むベンチマークを公表した。
  論文  参考訳（メタデータ） (2025-10-24T03:19:48Z)
• VLSU: Mapping the Limits of Joint Multimodal Understanding for AI Safety [3.1109025622085693]
  マルチモーダル安全性を評価する包括的フレームワークであるVision Language Safety Understandingを提案する。 11種類の最先端モデルについて評価した結果, 系統的な共同理解の失敗が判明した。 我々のフレームワークは、現在のモデルにおける共同画像テキスト理解とアライメントギャップの弱点を明らかにする。
  論文  参考訳（メタデータ） (2025-10-21T01:30:31Z)
• Can Encrypted Images Still Train Neural Networks? Investigating Image Information and Random Vortex Transformation [51.475827684468875]
  画像変換時の情報内容の変化を評価するために,画像情報量を測定する新しい枠組みを構築した。 また,Random Vortex Transformationと呼ばれる新しい画像暗号化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:14:53Z)
• Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
  大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。 我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。 安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
  論文  参考訳（メタデータ） (2024-11-21T09:47:13Z)
• Image-to-Image Regression with Distribution-Free Uncertainty Quantification and Applications in Imaging [88.20869695803631]
  真値を含むことが保証される各画素の周囲の不確実な間隔を導出する方法を示す。 画像から画像への回帰を3つのタスクで評価する。
  論文  参考訳（メタデータ） (2022-02-10T18:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。