論文の概要: Semantic Steering for Controllable Generation: Tuning-Free Concept Erasure in Multimodal Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2608.12829v1
• Date: Thu, 13 Aug 2026 05:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.402181
• Title: Semantic Steering for Controllable Generation: Tuning-Free Concept Erasure in Multimodal Diffusion Transformers
• Title（参考訳）: 制御可能な生成のためのセマンティックステアリング:多モード拡散変換器におけるチューニング不要の概念消去
• Abstract要約: マルチモーダル拡散変換器 (MM-DiT) は, テキスト・画像生成性能が顕著であることを示す。 その強力な生成能力は、センシティブなコンテンツや不適切なコンテンツを生成する可能性があるため、重大な安全上の懸念も引き起こす。 モデルの内部表現を直接操作することで,概念を消去するためのチューニング不要な手法を提案する。
• 参考スコア（独自算出の注目度）: 22.773634194858037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Diffusion Transformers (MM-DiTs) have demonstrated remarkable text-to-image generation performance, surpassing traditional U-Net-based diffusion models. Nevertheless, their powerful generative capabilities also raise significant safety concerns, as they may generate sensitive or inappropriate content. While existing concept erasure methods aim to mitigate such risks, most require modifying model parameters, which are often architecture-specific and impractical for deployed larger models. Several tuning-free approaches face challenges when applied to advanced large-scale MM-DiTs due to their deeply embedded knowledge, broad semantic space, and context-dependent text encoders. To address these challenges, we propose to erase concepts by directly manipulating the model's internal representations. Our key insight, derived from an in-depth analysis of MM-DiT's block-wise generative roles, is that text-conditioned semantic representations are most salient in the middle blocks of MM-DiTs. Based on this, we extract representations of an unwanted concept and a desirable safe one from the middle block, construct a steering vector from their difference, and inject this single vector into consecutive early and middle blocks. By operating exclusively on the sparse text-branch tokens and leveraging the straight sampling trajectory of rectified flow, our method achieves effective concept erasure with negligible overhead and without any training. Extensive experiments across MM-DiT models demonstrate that our method achieves state-of-the-art performance in erasing diverse concepts, enables effective control over the final output, and remains robust to adversarial attacks.
• Abstract（参考訳）: MM-DiT(Multimodal Diffusion Transformer)は、従来のU-Netベースの拡散モデルよりも優れたテキスト・画像生成性能を示す。 それでも、その強力な生成能力は、センシティブなコンテンツや不適切なコンテンツを生成する可能性があるため、重大な安全上の懸念を引き起こす。 既存の概念消去手法はそのようなリスクを軽減することを目的としているが、ほとんどの場合、アーキテクチャ固有のモデルパラメータを変更する必要がある。 いくつかのチューニング不要なアプローチは、その深い知識、広い意味空間、文脈依存のテキストエンコーダにより、高度な大規模MM-DiTに適用する際の課題に直面している。 これらの課題に対処するために,モデルの内部表現を直接操作することで概念を消去することを提案する。 我々の重要な洞察は、MM-DiTのブロックワイド生成の役割の詳細な分析から得られたものであり、MM-DiTの中間ブロックにおいて、テキスト条件のセマンティック表現が最も顕著である。 これに基づいて、不要な概念と望ましい安全な概念の表現をミドルブロックから抽出し、その違いからステアリングベクトルを構築し、この単一ベクトルを連続してアーリーブロックとミドルブロックに注入する。 本手法は, 平滑なテキストブランチトークンのみを運用し, 整流のストレートサンプリング軌道を利用することにより, オーバーヘッドを無視し, トレーニングを行わずに効率的な概念消去を実現する。 MM-DiTモデルにまたがる広範囲な実験により,本手法は様々な概念を根絶し,最終的な出力を効果的に制御し,敵の攻撃に対して頑健であることを示す。

関連論文リスト

• UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation [90.0896070825457]
  本稿では,拡散過程におけるノイズダイナミクスのレンズを通して,安全機構を再考する統合ノイズ駆動フレームワークを提案する。 我々の重要な洞察は、早期の予測ノイズは、正常な内容と性的な内容の間に固有の分離性を示すことである。 我々は,計算オーバーヘッドがほとんどなく,精度の高い軽量ノイズベース検出器を開発した。
  論文  参考訳（メタデータ） (2026-07-18T14:03:39Z)
• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness [16.541207762213272]
  視覚変換器(ViT)は、しばしば急激な相関に依存するため、分布シフトによって劣化する。 概念レベルのセマンティクスに対する推論をモデル化する,新たなファインタニングフレームワークを提案する。 提案手法は,複数のViTモデル間のロバスト性を向上する。
  論文  参考訳（メタデータ） (2026-03-09T12:31:14Z)
• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Differential Vector Erasure: Unified Training-Free Concept Erasure for Flow Matching Models [49.10620605347065]
  本研究では,フローマッチングモデルに特化して設計されたトレーニング不要な概念消去手法である差分ベクトル消去(DVE)を提案する。 我々の重要な洞察は、意味論的概念は生成フローを管理する速度場の方向構造に暗黙的に符号化されていることである。 推論中、DVEは速度場を微分方向に投影することで概念固有の成分を選択的に除去し、無関係な意味論に影響を与えることなく正確な概念抑圧を可能にする。
  論文  参考訳（メタデータ） (2026-02-01T08:05:45Z)
• Directional Reasoning Injection for Fine-Tuning MLLMs [51.53222423215055]
  マルチモーダルな大言語モデル(MLLM)は急速に進歩しているが、その推論能力は強いテキストのみのモデルよりも遅れていることが多い。 このギャップを埋める既存の方法は、大規模マルチモーダル推論データや強化学習の監督された微調整に依存している。 この問題を解決するために,DRIFT(Directional Reasoning Injection for Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T18:06:46Z)
• Filling the Gaps: A Multitask Hybrid Multiscale Generative Framework for Missing Modality in Remote Sensing Semantic Segmentation [28.992992584085787]
  マルチモーダル学習は、通常の単調モデルと比較して大きな性能向上を示した。 現実のシナリオでは、センサーの故障と悪天候のためにマルチモーダル信号が欠落する可能性がある。 本稿では,これらの制約に対処するために,GEMMNet(Generative-Enhanced MultiModal Learning Network)を提案する。
  論文  参考訳（メタデータ） (2025-09-14T05:40:35Z)
• CtrlDiff: Boosting Large Diffusion Language Models with Dynamic Block Prediction and Controllable Generation [13.250999667915254]
  拡散ベースの言語モデルは、強力な並列生成機能と固有の編集性のために、魅力的な代替手段として登場した。 ローカルセマンティクスに基づいて各生成ブロックのサイズを適応的に決定する動的かつ制御可能な半自動回帰フレームワークであるCtrlDiffを提案する。
  論文  参考訳（メタデータ） (2025-05-20T14:52:41Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。