論文の概要: Unified Safe In-context Image Generation in Multimodal Diffusion Transformers via Restricting Unsafe Information Flows
- arxiv url: http://arxiv.org/abs/2606.06875v1
- Date: Fri, 05 Jun 2026 03:43:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.549896
- Title: Unified Safe In-context Image Generation in Multimodal Diffusion Transformers via Restricting Unsafe Information Flows
- Title（参考訳）: 非安全情報流の制限によるマルチモーダル拡散変圧器の統一型インコンテクスト画像生成
- Abstract要約: Unified Visual Safety Regulator (UVR)は、トレーニング不要の安全生成フレームワークで、生成した画像の安全でないセマンティクスを規制する。
UVRは、統一された注意調整と有害な情報の流れの明示的な制限を通じて、安全でない生成を緩和する。
UVRは画像合成および編集作業において91%と77%の消去率を達成することにより、最先端の安全性能を達成する。
- 参考スコア（独自算出の注目度）: 20.386952794426833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion transformers (DiTs) equipped with multimodal attention (MM-Attn) have become a dominant paradigm for image generation. However, preventing the generation of harmful content remains a critical challenge, particularly in image-to-image (I2I) editing tasks. Existing safety mechanisms are primarily designed for text-to-image (T2I) synthesis or U-Net-based architectures, which limits their effectiveness for unified safety mitigation in DiT-based frameworks. To bridge this gap, we propose Unified Visual Safety Regulator (UVR), a training-free safe generation framework that regulates unsafe semantics in generated images. UVR is grounded in an analysis of attention dynamics from the perspective of information flow in MM-Attn. We identify a task-independent start-up stage, during which unsafe semantics in output patches rapidly emerge and can be accurately localized, followed by task-specific semantic amplification and interference stages, where harmful signals are further propagated and entangled with benign content. Based on these observations, UVR mitigates unsafe generation through unified, targeted attention modulation and explicit restriction of harmful information flow over the identified unsafe output patches. Experiments across various concepts show that UVR achieves state-of-the-art safety performance by achieving 91% and 77% erase rate in image synthesis and editing tasks, while preserving visual quality and fidelity with minimal degradation. Code is available at https://github.com/deng12yx/UVR.
- Abstract（参考訳）: マルチモーダルアテンション(MM-Attn)を備えた拡散変換器(DiT)が画像生成の主流となっている。
しかし、特にイメージ・ツー・イメージ(I2I)編集タスクでは、有害なコンテンツの発生を防止することが重要な課題である。
既存の安全メカニズムは、主にテキスト・ツー・イメージ(T2I)合成やU-Netベースのアーキテクチャのために設計されており、DiTベースのフレームワークにおける統一安全対策の有効性を制限している。
このギャップを埋めるために、生成した画像の安全でないセマンティクスを規制するトレーニング不要の安全な生成フレームワークであるUnified Visual Safety Regulator (UVR)を提案する。
UVRは、MM-Attnにおける情報フローの観点からの注意ダイナミクスの分析に基礎を置いている。
出力パッチにおける安全でないセマンティクスが急速に出現し、正確な局所化が可能なタスク非依存のスタートアップステージを特定し、続いてタスク固有のセマンティクス増幅と干渉ステージを行い、有害な信号をさらに伝播し、良質な内容に絡み合わせる。
これらの観測に基づいて、UVRは、統一された注意変調と、特定された安全でない出力パッチ上の有害な情報フローの明示的な制限を通じて、安全でない生成を緩和する。
UVRは画像合成と編集作業において91%と77%の消去率を達成し、視覚的品質と忠実さを最小限の劣化で保ちながら、最先端の安全性能を達成する。
コードはhttps://github.com/deng12yx/UVR.comで入手できる。
関連論文リスト
- The Price of Consistency: Exploiting Visual Anchors for Multimodal Jailbreaking in Video Generation [83.99528259002504]
このメカニズムにより、生成したコンテンツが元の有害な意図から遠ざかることを防ぐことができる。
本稿では、この脆弱性を利用したビデオ生成のためのトレーニング不要なマルチモーダルジェイルブレイクフレームワークである、Visual Anchors (DIVA)によるDecoupling Intentを提案する。
今後の研究を容易にするため,マルチ条件ビデオ生成のための最初の安全ベンチマークであるTI2SafetyBenchを寄贈する。
論文 参考訳（メタデータ） (2026-09-07T08:34:00Z) - UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation [90.0896070825457]
本稿では,拡散過程におけるノイズダイナミクスのレンズを通して,安全機構を再考する統合ノイズ駆動フレームワークを提案する。
我々の重要な洞察は、早期の予測ノイズは、正常な内容と性的な内容の間に固有の分離性を示すことである。
我々は,計算オーバーヘッドがほとんどなく,精度の高い軽量ノイズベース検出器を開発した。
論文 参考訳（メタデータ） (2026-07-18T14:03:39Z) - Introspective Attention Modulation for Safe Text-to-Image Generation [37.67434449197168]
State-of-the-the-art flow based text-to-image (T2I)モデルは、優れた生成能力を示すが、安全でないコンテンツを生成するには弱い。
本稿では,推論時イントロスペクションによるモデル注意力の制御により,安全性を実現するユニークなアプローチを提案する。
論文 参考訳（メタデータ） (2026-07-16T12:53:45Z) - The Illusion of High Utility in Safety Alignment of Text-to-Image Diffusion Models [49.67749928542536]
テキスト・ツー・イメージ(T2I)拡散モデルの安全性の確保は,有害な世代を抑えることを目的としている。
近年の手法は高いユーティリティで高い安全性を提供するように思われるが、この結論は主に粗いグローバルユーティリティメトリクスに依存している。
構造的評価で実用性を測定すると、この錯覚は壊れる:OnA(質問回答を用いたテキストから画像への忠実度評価)
本研究では,組込み拡散とプロンプト間関係構造を明示的に保存する安全アライメント目標であるStructureAware Geometric Regularization (SAGE)を提案する。
論文 参考訳（メタデータ） (2026-07-01T04:00:27Z) - Pulling The REINS: Training-Free Safety Alignment of Video Diffusion Models via Representation Steering [20.152820762914214]
本稿では,安全な生成に向けて内部表現を操り,推論時に映像拡散モデルを整列させる学習自由度手法REINSを提案する。
我々の重要な発見は、ビデオ拡散トランスの隠れ状態活性化において、安全関連構造が線形に符号化されていることである。
推論において、中間変圧器層にこの方向を隠蔽状態に付加すると、有害なコンテンツから意味論的に関係のある安全な代替物への生成を、重み更新なし、概念列挙なし、無視可能な計算オーバーヘッドなしでリダイレクトする。
論文 参考訳（メタデータ） (2026-06-15T20:03:09Z) - SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。
SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
論文 参考訳（メタデータ） (2026-01-13T15:01:38Z) - Value-Aligned Prompt Moderation via Zero-Shot Agentic Rewriting for Safe Image Generation [11.663809872664103]
現在の防衛は、生産物を生産品質を犠牲にしたり、高いコストを発生させることなく、人的価値と整合させるのに苦労している。
我々は、より安全でより有用なテキスト・ツー・イメージ・ジェネレーションのためのゼロショットエージェント・フレームワークであるVALORを紹介した。
VALORは、階層化されたプロンプト分析とヒューマンアラインな値推論を統合している。
論文 参考訳（メタデータ） (2025-11-12T09:52:47Z) - SafeGuider: Robust and Practical Content Safety Control for Text-to-Image Models [74.11062256255387]
テキスト・ツー・イメージのモデルは、安全対策を回避し、有害なコンテンツを生成できる敵のプロンプトに対して非常に脆弱である。
SafeGuiderは, 生成品質を損なうことなく, 堅牢な安全制御を実現するための2段階のフレームワークである。
SafeGuiderは攻撃成功率の最小化において例外的な効果を示し、様々な攻撃シナリオで最大速度は5.48%である。
論文 参考訳（メタデータ） (2025-10-05T10:24:48Z) - PromptSafe: Gated Prompt Tuning for Safe Text-to-Image Generation [30.2092299298228]
テキスト・ツー・イメージ(T2I)モデルは、暴力的または明示的なイメージなど、安全でない作業用コンテンツ(NSFW)の生成に脆弱である。
本稿では,軽量でテキストのみを教師付きソフト埋め込みと,推論時間付きゲート制御ネットワークを組み合わせたゲートプロンプトチューニングフレームワークであるPromptSafeを提案する。
PromptSafeはSOTAの安全でない生成率(2.36%)を達成し,高い良性を維持していることを示す。
論文 参考訳（メタデータ） (2025-08-02T09:09:40Z) - Safety Mirage: How Spurious Correlations Undermine VLM Safety Fine-Tuning and Can Be Mitigated by Machine Unlearning [43.209846711845536]
現在のアライメント戦略は、キュレートされたデータセットによる監視された安全性の微調整に依存している。
教師付き微調整は,表面テクスチャパターンと安全応答の急激な相関を必然的に強化することを示す。
マシン・アンラーニング(MU)は、教師付き安全微調整の強力な代替手段であることを示す。
論文 参考訳（メタデータ） (2025-03-14T19:52:08Z) - Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。
我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。
安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
論文 参考訳（メタデータ） (2024-11-21T09:47:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。