論文の概要: Open Models, Open Risks: Measuring Unsafe Generation in Text-to-Image Models In the Wild
- arxiv url: http://arxiv.org/abs/2607.07827v1
- Date: Wed, 08 Jul 2026 18:07:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.308267
- Title: Open Models, Open Risks: Measuring Unsafe Generation in Text-to-Image Models In the Wild
- Title（参考訳）: オープンモデルとオープンリスク: 野生のテキスト・画像モデルにおける安全でない生成の測定
- Abstract要約: テキスト・トゥ・イメージ(T2I)のジェイルブレイクに関する既存の安全性研究は、主にラブ内で制御されている。
ジェイルブレイクのレンズによるT2Iの安全性に関する大規模な実証的研究を報告する。
- 参考スコア（独自算出の注目度）: 12.266069266190259
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing safety studies on text-to-image (T2I) jailbreaks are largely conducted in controlled in-the-lab settings, typically on a small number of canonical models. As a result, the current safety status of the rapidly growing in-the-wild T2I ecosystem remains unclear. This uncertainty is amplified by two factors: existing detector-based metrics are designed for controlled evaluation, and in-the-wild risks may arise not only from adversarial prompting, but also from unsafe release practices and unsafe model derivatives. In this paper, we present a large-scale empirical study of in-the-wild T2I safety through the lens of jailbreak. We first show that detector-only jailbreak metrics substantially overestimate practical risk over in the wild due to semantic drift and generation artifacts, and we introduce Advanced ASR to better capture semantically valid and visually plausible unsafe generation. Using this refined metric, we evaluate 200+ in-the-wild T2I models from Hugging Face under three representative jailbreak attacks. Our results show that many downstream models retain a non-trivial degree of safety even without explicit post-hoc safeguards, indicating that safety degradation in the wild is neither universal nor uniform. At the same time, we identify a set of high-risk models, including explicitly NSFW-oriented releases as well as seemingly benign models whose unsafe behavior is only exposed through systematic evaluation. We further trace these models to their release context and report high-risk cases to Hugging Face.
- Abstract（参考訳）: テキスト・トゥ・イメージ(T2I)のジェイルブレイクに関する既存の安全性研究は、通常は少数の標準モデル上で、制御されたイン・ザ・ラブ設定で行われている。
結果として、急速に成長しているT2Iエコシステムの現在の安全状態は、まだ不明である。
この不確実性は2つの要因によって増幅される: 既存の検出器ベースのメトリクスは、制御された評価のために設計されており、そのリスクは、敵のプロンプトだけでなく、安全でないリリースプラクティスや安全でないモデルデリバティブからも生じる可能性がある。
本稿では,ジェイルブレイクのレンズを通したWild T2Iの安全性に関する大規模な実証的研究について述べる。
まず, セマンティックドリフトと生成アーティファクトにより, 自然界における現実的リスクを著しく過大評価することを示し, セマンティックドリフトと生成アーティファクトにより, セマンティックドリフトと視覚的に妥当なアンセーフ生成をより正確に捉えるために, アドバンストASRを導入する。
この改良された測定値を用いて,Hugging Faceの200以上の内装T2Iモデルを3つの代表的なジェイルブレイク攻撃下で評価した。
以上の結果から,多くの下流モデルでは,野生生物の安全性の低下は普遍的でも均一でもないことが示唆された。
同時に、NSFW指向のリリースや、安全でない振る舞いが体系的な評価によってのみ露出しているように見える良性モデルを含む、リスクの高いモデルの集合を同定する。
さらに、これらのモデルをリリースコンテキストにトレースし、リスクの高いケースをHugging Faceに報告します。
関連論文リスト
- Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack [19.201635180438313]
大規模言語モデル(LLM)は、有害な要求を拒否するために厳格に整列されている。
本研究では、この高度な安全意識が必然的に致命的な脆弱性をもたらすことを明らかにする。
論文 参考訳（メタデータ） (2026-06-04T02:36:41Z) - Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である
重要かつ過度に調査された安全リスクを無意識に導入することを示します。
実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
論文 参考訳（メタデータ） (2026-02-03T12:32:35Z) - Read the Scene, Not the Script: Outcome-Aware Safety for LLMs [22.814397376238755]
現在のモデルでは、アクションと結果の結びつきが弱いのです。
この障害モードをコンシークエンス・ブラインドネス(Consequence-blindness)と定義する。
CS-Chain-4kで微調整されたモデルでは、セマンティックカモフラージュジェイルブレイクに対する明らかな利得を示す。
論文 参考訳（メタデータ） (2025-10-05T18:46:49Z) - SafeGuider: Robust and Practical Content Safety Control for Text-to-Image Models [74.11062256255387]
テキスト・ツー・イメージのモデルは、安全対策を回避し、有害なコンテンツを生成できる敵のプロンプトに対して非常に脆弱である。
SafeGuiderは, 生成品質を損なうことなく, 堅牢な安全制御を実現するための2段階のフレームワークである。
SafeGuiderは攻撃成功率の最小化において例外的な効果を示し、様々な攻撃シナリオで最大速度は5.48%である。
論文 参考訳（メタデータ） (2025-10-05T10:24:48Z) - DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。
デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
論文 参考訳（メタデータ） (2025-09-29T05:17:10Z) - Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models [22.796169894587475]
攻撃特化学習からタスク特化学習へ焦点を移すことにより、未知のジェイルブレイク攻撃を正確に検出する一般的なフレームワークを提案する。
実験の結果,AUROCの未知攻撃に対する検出精度は向上し,効率は向上した。
論文 参考訳（メタデータ） (2025-08-08T16:13:28Z) - GenBreak: Red Teaming Text-to-Image Generators Using Large Language Models [65.91565607573786]
テキスト・ツー・イメージ(T2I)モデルは、ヌードや暴力を含む有害なコンテンツを生成するために誤用することができる。
近年のT2Iモデルに対する赤チーム攻撃と敵攻撃は、顕著な制限がある。
我々は、基盤となる脆弱性を体系的に調査するために、レッドチーム大言語モデル(LLM)を微調整するフレームワークであるGenBreakを提案する。
論文 参考訳（メタデータ） (2025-06-11T09:09:12Z) - OVERT: A Benchmark for Over-Refusal Evaluation on Text-to-Image Models [91.55634905861827]
Over-refusalは$textitover-refusal$として知られる現象で、T2Iモデルの実用性を減らす。
我々は,OVERT(textbfOVE$r-$textbfR$efusal evaluation on $textbfT$ext-to-image model)を提案する。
論文 参考訳（メタデータ） (2025-05-27T15:42:46Z) - SafeKey: Amplifying Aha-Moment Insights for Safety Reasoning [76.56522719330911]
大規模推論モデル(LRM)は、応答する前に明示的に推論する新しい世代パラダイムを導入する。
LRMは有害なクエリや敵の攻撃に対して大きな安全リスクをもたらす。
キー文中の安全アハモーメントをより活性化するSafeKeyを提案する。
論文 参考訳（メタデータ） (2025-05-22T03:46:03Z) - T2ISafety: Benchmark for Assessing Fairness, Toxicity, and Privacy in Image Generation [39.45602029655288]
T2ISafetyは、毒性、公正性、バイアスという3つの主要な領域にわたるT2Iモデルを評価する安全ベンチマークである。
我々は68Kの注釈付き画像を用いた大規模T2Iデータセットを構築し、臨界リスクを検出するための評価器を訓練する。
我々は、T2ISafety上での12の顕著な拡散モデルを評価し、人種的公正性に関する永続的な問題、有害なコンテンツを生成する傾向、モデル間でのプライバシー保護の顕著なばらつきなど、いくつかの懸念を明らかにした。
論文 参考訳（メタデータ） (2025-01-22T03:29:43Z) - Multimodal Pragmatic Jailbreak on Text-to-image Models [42.53834190690214]
この研究は、新しいタイプのjailbreakを導入し、T2Iモデルをトリガーして、ビジュアルテキストで画像を生成する。
我々は、2つのクローズドソース商用モデルを含む9つの代表的なT2Iモデルをベンチマークする。
我々の研究は、よりセキュアで信頼性の高いT2Iモデルに向けたさらなる開発基盤を提供する。
論文 参考訳（メタデータ） (2024-09-27T21:23:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。