論文の概要: One-Dimensional Adapter to Rule Them All: Concepts, Diffusion Models and
Erasing Applications
- arxiv url: http://arxiv.org/abs/2312.16145v2
- Date: Mon, 11 Mar 2024 18:13:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 01:06:11.904698
- Title: One-Dimensional Adapter to Rule Them All: Concepts, Diffusion Models and
Erasing Applications
- Title(参考訳): すべてを制御するための1次元アダプタ:概念、拡散モデル、消去アプリケーション
- Authors: Mengyao Lyu, Yuhong Yang, Haiwen Hong, Hui Chen, Xuan Jin, Yuan He,
Hui Xue, Jungong Han, Guiguang Ding
- Abstract要約: 既存の学界における概念消去手法はすべて、完全なパラメータや仕様ベースの微調整に基づいている。
それまでのモデル固有の消去は、概念の柔軟な組み合わせと、他のモデルへのトレーニング不要な移行を妨げる。
我々は,一次元アダプタをベースとした消去フレームワークを構築し,多くのDMから複数の概念を一度に消去する。
- 参考スコア(独自算出の注目度): 65.66700972754118
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The prevalent use of commercial and open-source diffusion models (DMs) for
text-to-image generation prompts risk mitigation to prevent undesired
behaviors. Existing concept erasing methods in academia are all based on full
parameter or specification-based fine-tuning, from which we observe the
following issues: 1) Generation alternation towards erosion: Parameter drift
during target elimination causes alternations and potential deformations across
all generations, even eroding other concepts at varying degrees, which is more
evident with multi-concept erased; 2) Transfer inability & deployment
inefficiency: Previous model-specific erasure impedes the flexible combination
of concepts and the training-free transfer towards other models, resulting in
linear cost growth as the deployment scenarios increase. To achieve
non-invasive, precise, customizable, and transferable elimination, we ground
our erasing framework on one-dimensional adapters to erase multiple concepts
from most DMs at once across versatile erasing applications. The
concept-SemiPermeable structure is injected as a Membrane (SPM) into any DM to
learn targeted erasing, and meantime the alteration and erosion phenomenon is
effectively mitigated via a novel Latent Anchoring fine-tuning strategy. Once
obtained, SPMs can be flexibly combined and plug-and-play for other DMs without
specific re-tuning, enabling timely and efficient adaptation to diverse
scenarios. During generation, our Facilitated Transport mechanism dynamically
regulates the permeability of each SPM to respond to different input prompts,
further minimizing the impact on other concepts. Quantitative and qualitative
results across ~40 concepts, 7 DMs and 4 erasing applications have demonstrated
the superior erasing of SPM. Our code and pre-tuned SPMs are available on the
project page https://lyumengyao.github.io/projects/spm.
- Abstract(参考訳): テキスト・ツー・イメージ生成における商用およびオープンソース拡散モデル(DM)の利用は、望ましくない行動を防ぐためのリスク軽減を促す。
既存の学界における概念消去手法は、すべて完全なパラメータや仕様に基づく微調整に基づいており、そこから次の課題を観察する。
1) 侵食に対する変化の発生: 標的除去時のパラメータドリフトは,すべての世代にわたって変化や潜在的な変形を引き起こし,さらに,他の概念を様々な程度に浸食する。
2) 転送不能性とデプロイメント非効率性: 以前のモデル固有の消去は、概念の柔軟な組み合わせと、他のモデルへのトレーニング不要な移行を妨げ、デプロイメントシナリオが増加するにつれて、線形コストの増大をもたらします。
非侵襲的で、精密で、カスタマイズ可能で、転送可能な除去を実現するため、我々は、一次元のアダプタ上に消去フレームワークを構築し、多くのDMから複数の概念を一度に消去する。
コンセプトセミ透過性構造を膜(SPM)として任意のDMに注入して目的の消去を学習し、一方、改質・侵食現象は、新しい遅延アンチョリング微調整戦略によって効果的に緩和される。
一度得られれば、SPMは柔軟に組み合わされ、特定の再調整なしに他のDMに対してプラグ&プレイでき、多様なシナリオにタイムリーかつ効率的に適応できる。
生成過程において,各spmの透過性を動的に制御し,異なる入力プロンプトに応答し,他の概念への影響を最小化する。
約40の概念,7つのDMおよび4つの消去応用の定量的および定性的な結果から,SPMの優れた消去効果が示された。
私たちのコードと調整済みのspmは、プロジェクトページhttps://lyumengyao.github.io/projects/spmで利用可能です。
関連論文リスト
- Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。
AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。
AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2024-03-12T11:48:49Z) - Suppress and Rebalance: Towards Generalized Multi-Modal Face
Anti-Spoofing [26.901402236963374]
Face Anti-Spoofing (FAS) は、顔認証システムのプレゼンテーション攻撃に対する保護に不可欠である。
多くのマルチモーダルなFASアプローチが出現しているが、見当たらない攻撃や展開条件を一般化する上での課題に直面している。
論文 参考訳(メタデータ) (2024-02-29T16:06:36Z) - AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of
Diffusion Probabilistic Models [136.58244210412352]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。
本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。
本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。
次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文 参考訳(メタデータ) (2023-07-20T09:06:21Z) - Monotone deep Boltzmann machines [86.50247625239406]
ディープボルツマンマシン(Deep Boltzmann Machine、DBM)は、双対エネルギー関数によって制御される多層確率モデルである。
我々は,各層で任意の自己接続が可能な新しい制限モデルであるモノトンDBMを開発した。
アクティベーションの特定の選択が、変動平均場解を与える固定点反復をもたらすことを示す。
論文 参考訳(メタデータ) (2023-07-11T03:02:44Z) - Boundary Guided Learning-Free Semantic Control with Diffusion Models [44.37803942479853]
凍結事前学習DDMを用いた効率的,効果的,軽量な意味制御のための境界拡散法を提案する。
我々はDPMアーキテクチャ(DDPM, iDDPM)とデータセット(CelebA, CelebA-HQ, LSUN-church, LSUN-bedroom, AFHQ-dog)を異なる解像度(64, 256)で広範な実験を行った。
論文 参考訳(メタデータ) (2023-02-16T15:21:46Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Adversarial Robustness Verification and Attack Synthesis in Stochastic
Systems [8.833548357664606]
我々は、離散時間マルコフ連鎖(DTMC)として定義されるシステムにおける対向的堅牢性のための公式な枠組みを開発する。
我々は、元の遷移確率の周囲に$varepsilon$ボールで制約された、敵がシステム遷移を摂動できる脅威モデルのクラスを概説する。
論文 参考訳(メタデータ) (2021-10-05T15:52:47Z) - Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。
微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文 参考訳(メタデータ) (2020-06-30T06:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。