論文の概要: Harmful Content Generation in Text-to-Image Models: Capabilities and Moderation Limitations

• arxiv url: http://arxiv.org/abs/2610.06503v1
• Date: Mon, 05 Oct 2026 15:22:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 07:57:23.694161
• Title: Harmful Content Generation in Text-to-Image Models: Capabilities and Moderation Limitations
• Title（参考訳）: テキスト・ツー・イメージモデルにおける有害コンテンツ生成:能力とモデレーション限界
• Abstract要約: 5つのオープンテキスト・ツー・イメージ・モデルにおいて,有害なコンテンツ生成の体系的評価を行う。 私たちは、合法的なニュースキャプションを、性的に明示的なコンテンツ、暴力/ゴア、有害なステレオタイプ、自傷行為、ヘイトスピーチをターゲットにした、安全でないプロンプトに変換する自動パイプラインを使用します。 1500枚の画像の人間による評価は、有害なコンテンツ生成率が高いことを示している。
• 参考スコア（独自算出の注目度）: 10.365236620864197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image generative models can produce highly realistic imagery but also raise concerns about harmful misuse. While safety mechanisms exist, systematic evaluations of their effectiveness against realistic attacks remain limited. We present a systematic evaluation of harmful content generation across five open text-to-image models using an automated pipeline that transforms legitimate news captions into unsafe prompts targeting sexually explicit content, violence/gore, harmful stereotypes, self-harm, and hate speech. We evaluate both standard models with built-in safety mechanisms and community fine-tuned variants that bypass content restrictions. A human evaluation of 1,500 generated images shows high harmful-content generation rates: 89.2% for gore-related prompts, 47.6% for sexually explicit content, 43.6% for harmful stereotypes, 46.0% for hate speech, and 34.5% for self-harm, predominantly through graphic violence. Models show substantial capability for generating violent and stereotypical content, while community fine-tuned variants are particularly vulnerable to sexually explicit prompts. Generation quality is largely preserved under harmful prompting, producing imagery of sufficient fidelity to pose risks for disinformation and abuse; FLUX.1-dev produces clearly realistic harmful images in 30.9% of cases. We further evaluate automated moderation systems and find substantial detection gaps that allow unsafe images to evade filtering. Finally, we assess synthetic image detectors and show that models trained only on benign datasets perform worse on explicit content, while more diverse training data improves detection, highlighting semantic distribution gaps in current approaches. These findings expose limitations in current generation safeguards, moderation systems, and synthetic image detection, highlighting the need for stronger defenses against misuse at scale.
• Abstract（参考訳）: テキストから画像への生成モデルは、非常に現実的なイメージを生み出すだけでなく、有害な誤用に対する懸念も引き起こす。 安全性のメカニズムは存在するが、現実的な攻撃に対する効果の体系的な評価は依然として限られている。 本稿では, 性的明示的コンテンツ, 暴力/ゴア, 有害なステレオタイプ, 自傷行為, ヘイトスピーチを対象とする安全でないプロンプトに, 正統なニュースキャプションを変換する自動パイプラインを用いて, 5つのオープンテキスト・ツー・イメージモデル間で有害なコンテンツ生成を体系的に評価する。 安全機構を組み込んだ標準モデルと、コンテンツ制限を回避したコミュニティの微調整版の両方を評価した。 人による1500枚の画像の評価では、ゴア関連のプロンプトの89.2%、性的に露骨な内容の47.6%、有害なステレオタイプの43.6%、ヘイトスピーチの46.0%、自傷の34.5%という高い有害なコンテンツ生成率を示している。 モデルは暴力的でステレオタイプなコンテンツを生成する能力を示し、コミュニティの細調整された変異体は特に性的に明示的なプロンプトに対して脆弱である。 生成品質は大半が有害なプロンプトの下で保存され、偽情報や虐待のリスクを生じさせる十分な忠実さのイメージが生成され、FLUX.1-devは30.9%のケースで明らかに現実的な有害な画像を生成する。 さらに、自動モデレーションシステムを評価し、安全でない画像がフィルタリングを回避できるような、実質的な検出ギャップを見出す。 最後に、合成画像検出器を評価し、良質なデータセットにのみトレーニングされたモデルが明示的な内容でより悪い結果を示す一方で、より多様なトレーニングデータにより検出が改善され、現在のアプローチにおける意味的分布ギャップが強調される。 これらの発見は、現在の世代の安全ガード、モデレーションシステム、および合成画像検出の限界を明らかにし、大規模な誤用に対するより強力な防御の必要性を強調している。

関連論文リスト

• AI-generated Images Challenge Visual Trust in High-risk Scenarios [79.40239296310791]
  SafeIMGは、GPT Image 2.0を用いて生成された12のパブリックおよび個人安全シナリオにまたがる安全指向のベンチマークである。 SafeIMGは、検出器が合成画像を認識するかどうかを評価するだけでなく、それらの決定が人間の識別された異常を反映しているかどうかも評価する。 我々は,特殊合成画像検出器と視覚言語モデル(VLM)を評価し,どちらも信頼性のある検出を提供していないことを発見した。
  論文  参考訳（メタデータ） (2026-07-23T06:56:49Z)
• SafeGuider: Robust and Practical Content Safety Control for Text-to-Image Models [74.11062256255387]
  テキスト・ツー・イメージのモデルは、安全対策を回避し、有害なコンテンツを生成できる敵のプロンプトに対して非常に脆弱である。 SafeGuiderは, 生成品質を損なうことなく, 堅牢な安全制御を実現するための2段階のフレームワークである。 SafeGuiderは攻撃成功率の最小化において例外的な効果を示し、様々な攻撃シナリオで最大速度は5.48%である。
  論文  参考訳（メタデータ） (2025-10-05T10:24:48Z)
• Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
  大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。 我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。 安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
  論文  参考訳（メタデータ） (2024-11-21T09:47:13Z)
• SafeGen: Mitigating Sexually Explicit Content Generation in Text-to-Image Models [28.23494821842336]
  テキスト・ツー・イメージ・モデルは、安全でない作業用コンテンツ(NSFW)を生成するために騙されることがある。 我々は、テキスト・ツー・イメージ・モデルによる性的コンテンツ生成を緩和するフレームワークであるSafeGenを紹介する。
  論文  参考訳（メタデータ） (2024-04-10T00:26:08Z)
• SurrogatePrompt: Bypassing the Safety Filter of Text-to-Image Models via Substitution [21.93748586123046]
  我々は、Midjourneyに対する最初の即時攻撃を開発し、その結果、豊富なNSFW画像が生成される。 我々のフレームワークであるSurrogatePromptは、大規模言語モデル、画像からテキスト、画像から画像へのモジュールを利用して、攻撃プロンプトを体系的に生成する。 その結果、Midjourneyのプロプライエタリな安全フィルタを攻撃プロンプトでバイパスして88%の成功率を明らかにした。
  論文  参考訳（メタデータ） (2023-09-25T13:20:15Z)
• Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts [63.61248884015162]
  テキストと画像の拡散モデルは、高品質なコンテンツ生成において顕著な能力を示している。 本研究では,拡散モデルの問題を自動検出するツールとして,Prompting4 Debugging (P4D)を提案する。 この結果から,従来のセーフプロンプトベンチマークの約半数は,本来 "セーフ" と考えられていたので,実際に多くのデプロイされた安全機構を回避できることがわかった。
  論文  参考訳（メタデータ） (2023-09-12T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。