論文の概要: Coffee: Controllable Diffusion Fine-tuning

• arxiv url: http://arxiv.org/abs/2511.14113v1
• Date: Tue, 18 Nov 2025 03:53:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:52.923365
• Title: Coffee: Controllable Diffusion Fine-tuning
• Title（参考訳）: コーヒー:制御可能な拡散微調整
• Authors: Ziyao Zeng, Jingcheng Ni, Ruyi Liu, Alex Wong,
• Abstract要約: Coffeeでは、言語を使って望ましくない概念を指定して適応プロセスを規則化することができる。 我々は、望ましくない概念と組み合わせたユーザプロンプトに関連する画像の微調整によりコーヒーを評価する。
• 参考スコア（独自算出の注目度）: 10.29166433552457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image diffusion models can generate diverse content with flexible prompts, which makes them well-suited for customization through fine-tuning with a small amount of user-provided data. However, controllable fine-tuning that prevents models from learning undesired concepts present in the fine-tuning data, and from entangling those concepts with user prompts, remains an open challenge. It is crucial for downstream tasks like bias mitigation, preventing malicious adaptation, attribute disentanglement, and generalizable fine-tuning of diffusion policy. We propose Coffee that allows using language to specify undesired concepts to regularize the adaptation process. The crux of our method lies in keeping the embeddings of the user prompt from aligning with undesired concepts. Crucially, Coffee requires no additional training and enables flexible modification of undesired concepts by modifying textual descriptions. We evaluate Coffee by fine-tuning on images associated with user prompts paired with undesired concepts. Experimental results demonstrate that Coffee can prevent text-to-image models from learning specified undesired concepts during fine-tuning and outperforms existing methods. Code will be released upon acceptance.
• Abstract（参考訳）: テキストと画像の拡散モデルは、柔軟なプロンプトで多様なコンテンツを生成できるため、少量のユーザ提供データで微調整することでカスタマイズに適している。 しかし、制御可能な微調整は、モデルが微調整データに存在する望ましくない概念を学習するのを防ぎ、それらの概念をユーザープロンプトで絡めることを妨げている。 バイアス緩和、悪意のある適応の防止、属性のゆがみ、拡散政策の一般化可能な微調整といった下流タスクには不可欠である。 提案するCoffeeは,言語を用いて望ましくない概念を指定し,適応プロセスの正規化を可能にする。 私たちの手法の要点は、ユーザの埋め込みが望ましくない概念と一致しないようにすることです。 重要なことは、コーヒーは追加のトレーニングを必要とせず、テキスト記述を変更することで、望ましくない概念の柔軟な修正を可能にする。 我々は、望ましくない概念と組み合わせたユーザプロンプトに関連する画像の微調整によりコーヒーを評価する。 実験結果から,Coffeeは既存の手法を微調整し,性能を上回りながら,特定の望ましくない概念を学習するのを防ぐことができることがわかった。 コードは受理時にリリースされる。

関連論文リスト

• Concept Corrector: Erase concepts on the fly for text-to-image diffusion models [38.99973711993937]
  概念消去は、モデルが生成できる望ましくない概念を消去することを目的としている。 本研究では,特定のタイミングで予測される最終生成画像から得られる視覚的特徴に基づいて,対象概念をチェックする概念コレクタを提案する。 パイプライン全体において、我々の手法はモデルパラメータを変更せず、特定のターゲット概念とそれに対応する代替コンテンツのみを必要とする。
  論文  参考訳（メタデータ） (2025-02-22T21:53:43Z)
• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
  本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。 破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。 実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
  論文  参考訳（メタデータ） (2024-10-23T06:47:29Z)
• Growth Inhibitors for Suppressing Inappropriate Image Concepts in Diffusion Models [35.2881940850787]
  テキストと画像の拡散モデルは、広範かつ未フィルタリングのトレーニングデータから不適切な概念を不適切な方法で学習する。 本手法は,画像レベルでの微妙な単語の出現を効果的に捉え,ターゲット概念の直接的かつ効率的な消去を可能にする。
  論文  参考訳（メタデータ） (2024-08-02T05:17:14Z)
• ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance [90.57708419344007]
  新しい概念を学ぶ際に, 概念空間を明示的に規制するために, ** 連続保存損失** を利用するテクニックである **ClassDiffusion** を提示する。 このアプローチは単純ではあるが、ターゲット概念の微調整過程における意味的ドリフトを効果的に防止する。
  論文  参考訳（メタデータ） (2024-05-27T17:50:10Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。