論文の概要: Beautiful Images, Toxic Words: Understanding and Addressing Offensive Text in Generated Images

• arxiv url: http://arxiv.org/abs/2502.05066v2
• Date: Mon, 10 Feb 2025 14:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:32:23.036576
• Title: Beautiful Images, Toxic Words: Understanding and Addressing Offensive Text in Generated Images
• Title（参考訳）: 美しい画像, 有害語:生成した画像における攻撃的テキストの理解と対処
• Authors: Aditya Kumar, Tom Blanchard, Adam Dziedzic, Franziska Boenisch,
• Abstract要約: 我々は、画像内に埋め込まれたNSFWテキストの生成という、新たな脅威を識別する。 これには侮辱、人種的暴行、性的暴行といった攻撃的な言葉が含まれる。 既存の緩和技術は、テキスト生成を著しく劣化させながら有害なテキスト生成を防ぐことができない。 この領域の研究を進めるために、画像中のNSFWテキスト生成を評価するためのオープンソースのベンチマークであるToxicBenchを紹介する。
• 参考スコア（独自算出の注目度）: 5.150015329535525
• License:
• Abstract: State-of-the-art visual generation models, such as Diffusion Models (DMs) and Vision Auto-Regressive Models (VARs), produce highly realistic images. While prior work has successfully mitigated Not Safe For Work (NSFW) content in the visual domain, we identify a novel threat: the generation of NSFW text embedded within images. This includes offensive language, such as insults, racial slurs, and sexually explicit terms, posing significant risks to users. We show that all state-of-the-art DMs (e.g., SD3, Flux, DeepFloyd IF) and VARs (e.g., Infinity) are vulnerable to this issue. Through extensive experiments, we demonstrate that existing mitigation techniques, effective for visual content, fail to prevent harmful text generation while substantially degrading benign text generation. As an initial step toward addressing this threat, we explore safety fine-tuning of the text encoder underlying major DM architectures using a customized dataset. Thereby, we suppress NSFW generation while preserving overall image and text generation quality. Finally, to advance research in this area, we introduce ToxicBench, an open-source benchmark for evaluating NSFW text generation in images. ToxicBench provides a curated dataset of harmful prompts, new metrics, and an evaluation pipeline assessing both NSFW-ness and generation quality. Our benchmark aims to guide future efforts in mitigating NSFW text generation in text-to-image models.
• Abstract（参考訳）: Diffusion Models (DM) や Vision Auto-Regressive Models (VAR) のような最先端のビジュアル生成モデルは、非常にリアルな画像を生成する。 以前の作業は、視覚領域におけるNot Safe For Work(NSFW)コンテンツを緩和することに成功しましたが、新たな脅威である、画像内に埋め込まれたNSFWテキストの生成を特定しました。 これには侮辱、人種的暴行、性的暴行といった攻撃的な言葉が含まれており、ユーザーにとって重大なリスクを生じさせている。 すべての最先端DM(例:SD3、Flux、DeepFloyd IF)とVAR(例:Infinity)がこの問題に対して脆弱であることを示す。 広範にわたる実験により、視覚コンテンツに有効な既存の緩和技術は、良質なテキスト生成を著しく劣化させながら有害なテキスト生成を防止できないことを示した。 この脅威に対処するための最初のステップとして、カスタマイズされたデータセットを使用して、主要なDMアーキテクチャを基盤とするテキストエンコーダの安全性の微調整について検討する。 これにより、全体の画像とテキスト生成品質を維持しながら、NSFW生成を抑えることができる。 最後に、この領域の研究を進めるために、画像中のNSFWテキスト生成を評価するためのオープンソースのベンチマークであるToxicBenchを紹介する。 ToxicBenchは有害なプロンプト、新しいメトリクス、NSFWの質と生成品質を評価する評価パイプラインのキュレートされたデータセットを提供する。 本ベンチマークは,NSFWテキスト生成をテキスト・ツー・イメージ・モデルで緩和するための今後の取り組みを導くことを目的としている。

関連論文リスト

• Safe Text-to-Image Generation: Simply Sanitize the Prompt Embedding [13.481343482138888]
  視覚に依存しない安全な生成フレームワーク Embedding Sanitizer (ES) を提案する。 ESは、迅速な埋め込みから不適切な概念を消去することに焦点を当て、安全な生成のためにモデルをガイドするために、衛生的な埋め込みを使用する。 ESは、生成品質を維持しつつ、解釈性と制御性の観点から既存の安全ガードを著しく上回っている。
  論文  参考訳（メタデータ） (2024-11-15T16:29:02Z)
• TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
  本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。 TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。 画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
  論文  参考訳（メタデータ） (2024-09-28T04:37:09Z)
• ART: Automatic Red-teaming for Text-to-Image Models to Protect Benign Users [18.3621509910395]
  そこで本研究では,テキスト・ツー・イメージ・モデルの安全性を評価するために,新しい自動レッド・チーム・フレームワークARTを提案する。 包括的実験により、人気のあるオープンソーステキスト・ツー・イメージモデルの毒性を明らかにする。 また、テキスト・ツー・イメージ・モデルに関連する安全性リスクを研究するために、大規模な3つの赤チームデータセットも導入する。
  論文  参考訳（メタデータ） (2024-05-24T07:44:27Z)
• Latent Guard: a Safety Framework for Text-to-image Generation [64.49596711025993]
  既存の安全対策は、容易に回避できるテキストブラックリストや有害なコンテンツ分類に基づいている。 テキスト・ツー・イメージ生成の安全性向上を目的としたフレームワークであるLatent Guardを提案する。 ブラックリストベースのアプローチにインスパイアされたLatent Guardは、T2Iモデルのテキストエンコーダの上に潜在空間を学習し、有害な概念の存在を確認することができる。
  論文  参考訳（メタデータ） (2024-04-11T17:59:52Z)
• SafeGen: Mitigating Sexually Explicit Content Generation in Text-to-Image Models [28.23494821842336]
  テキスト・ツー・イメージ・モデルは、安全でない作業用コンテンツ(NSFW)を生成するために騙されることがある。 我々は、テキスト・ツー・イメージ・モデルによる性的コンテンツ生成を緩和するフレームワークであるSafeGenを紹介する。
  論文  参考訳（メタデータ） (2024-04-10T00:26:08Z)
• Safe-CLIP: Removing NSFW Concepts from Vision-and-Language Models [42.19184265811366]
  本研究では,NSFW入力に対する感度を低下させることにより,視覚・言語モデルの安全性を高める新しいアプローチを提案する。 安全な文と安全でない文の変換を訓練した大規模言語モデルから得られた合成データに対して,CLIPモデルを微調整することで,これを実現できることを示す。
  論文  参考訳（メタデータ） (2023-11-27T19:02:17Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• SneakyPrompt: Jailbreaking Text-to-image Generative Models [20.645304189835944]
  我々は,最初の自動攻撃フレームワークであるSneakyPromptをジェイルブレイクテキスト画像生成モデルに提案する。 安全フィルタによってブロックされるプロンプトを与えられたSneakyPromptは、テキスト・ツー・イメージ生成モデルを繰り返しクエリし、クエリ結果に基づいてプロンプト内のトークンを戦略的に摂動させ、安全フィルタをバイパスする。 評価の結果,SneakyPromptはNSFW画像の生成に成功しているだけでなく,jailbreakテキスト・画像生成モデルに拡張された場合,既存のテキスト敵攻撃よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-20T03:41:45Z)
• Constructing Highly Inductive Contexts for Dialogue Safety through Controllable Reverse Generation [65.48908724440047]
  そこで本稿では,ある応答に条件付けされた逆コンテキストを構築するために,エンフレバース生成と呼ばれる手法を提案する。 我々は,Blender,DialoGPT,Plato2の3種類の事前訓練済み対話モデルをテストする。
  論文  参考訳（メタデータ） (2022-12-04T12:23:41Z)
• Visualize Before You Write: Imagination-Guided Open-Ended Text Generation [68.96699389728964]
  我々は、機械生成画像を用いて、オープンエンドテキスト生成における言語モデルをガイドするiNLGを提案する。 オープンエンドテキスト生成タスクにおけるiNLGの有効性について実験と解析を行った。
  論文  参考訳（メタデータ） (2022-10-07T18:01:09Z)
• Knowledge Mining with Scene Text for Fine-Grained Recognition [53.74297368412834]
  本研究では,シーンテキスト画像の背景にある暗黙的な文脈知識をマイニングする,エンドツーエンドのトレーニング可能なネットワークを提案する。 我々は,KnowBertを用いて意味表現の関連知識を検索し,それを画像特徴と組み合わせ,きめ細かい分類を行う。 本手法は,3.72%のmAPと5.39%のmAPをそれぞれ上回っている。
  論文  参考訳（メタデータ） (2022-03-27T05:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。