論文の概要: Crafting Your Evolving Dreams: Concept-Incremental Versatile Customization
- arxiv url: http://arxiv.org/abs/2606.04797v1
- Date: Wed, 03 Jun 2026 12:22:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.740501
- Title: Crafting Your Evolving Dreams: Concept-Incremental Versatile Customization
- Title(参考訳): 進化する夢を作る: コンセプトインクリメンタルなVersatile Customization
- Authors: Jiahua Dong, Wenqi Liang, Hongliu Li, Yang Cong, Duzhen Zhang, Hanbin Zhao, Henghui Ding, Yulun Zhang, Salman Khan, Fahad Shahbaz Khan,
- Abstract要約: カスタム拡散モデル(CDM)は、パーソナライズされた概念を生成する能力のため、大きな関心を集めている。
本研究では,概念の多元的カスタマイズを可能にする新しいCCDM(Continuous Customizable Model Diffusion)を開発した。
概念無視の課題に対処するために,制御可能な地域文脈合成戦略を提案する。
- 参考スコア(独自算出の注目度): 121.4559869519547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Custom diffusion models (CDMs) have garnered significant interest owing to their remarkable capacity for generating personalized concepts. However, the majority of CDMs unrealistically presume that the user's collection of personalized concepts is static and incapable of incremental growth over time. Furthermore, they exhibit significant catastrophic forgetting and concept neglect of previously learned concepts when incrementally learning a sequence of new ones. To resolve the above challenges, we develop a novel Continually Customizable Diffusion Model (CCDM), enabling users to perform concept-incremental versatile customization. Specifically, we design an attribute-decoupled LoRA (AD-LoRA) module and a relevance-guided AD-LoRA aggregation strategy to mitigate catastrophic forgetting. They can preserve concept-specific attributes of each task and leverage beneficial inter-task correlations to enhance the continual learning of new customization tasks. Additionally, to address the challenge of concept neglect, we propose a controllable regional context synthesis strategy that performs multi-concept composition in alignment with user-provided conditions. This strategy enhances the overall consistency in multi-concept synthesis by guaranteeing semantic independence between user-defined regions and their smooth boundary transitions. Experiments show our CCDM exhibits significant improvements over baseline methods.
- Abstract(参考訳): カスタム拡散モデル(CDM)は、パーソナライズされた概念を生成できる優れた能力のため、大きな関心を集めている。
しかし、CDMの大多数は、ユーザのパーソナライズされた概念のコレクションが静的であり、時間の経過とともに徐々に成長することができないと非現実的に仮定している。
さらに、それらは、新しい概念の連続を漸進的に学習する際に、以前に学んだ概念を無視する破滅的な忘れ、概念を無視する。
以上の課題を解決するために,提案する新しいCCDM(Continuous Customizable Diffusion Model)を開発した。
具体的には,属性分離型LoRA (AD-LoRA) モジュールと関連性誘導型AD-LoRAアグリゲーション戦略を設計し,破滅的忘れを軽減した。
それらは、各タスクの概念固有の属性を保存し、有効なタスク間相関を利用して、新しいカスタマイズタスクの継続的な学習を強化することができる。
さらに,概念無視の課題に対処するため,ユーザが提供する条件に合わせて多概念合成を行う制御可能な地域文脈合成戦略を提案する。
この戦略は、ユーザ定義領域とスムーズな境界遷移間のセマンティックな独立性を保証することで、マルチコンセプト合成における全体的な一貫性を高める。
実験の結果, CCDMはベースライン法よりも有意に改善した。
関連論文リスト
- CPC-VAR:Continual Personalized and Compositional Generation in Visual Autoregressive Models [69.9266117908314]
VAR(Visual Autoregressive)モデルは、テキスト・ツー・イメージ生成の効率的なパラダイムとして登場した。
既存のVARベースのパーソナライズ方法は、進化するユーザ要求に対応できない。
VARモデルにおける連続的パーソナライズ生成に関する最初の体系的研究について述べる。
論文 参考訳(メタデータ) (2026-05-19T12:18:15Z) - ConceptGuard: Continual Personalized Text-to-Image Generation with Forgetting and Confusion Mitigation [3.7816957214446103]
ConceptGuardは、シフト埋め込み、コンセプトバインディングプロンプト、メモリ保存正規化を組み合わせた包括的なアプローチである。
本手法は, 定量的, 定性的な解析において, 基礎的手法を連続的に, 著しく上回ることを示す。
論文 参考訳(メタデータ) (2025-03-13T13:39:24Z) - Modular Customization of Diffusion Models via Blockwise-Parameterized Low-Rank Adaptation [73.16975077770765]
コンセプトのスタイリングやマルチコンセプトのカスタマイズといったアプリケーションには、モジュール化が不可欠である。
インスタントマージ法は、個々のマージされた概念のアイデンティティ損失と干渉を引き起こすことが多い。
個々の概念のアイデンティティを正確に保存しつつ,複数の概念を効率的に組み合わせたインスタントマージ手法であるBlockLoRAを提案する。
論文 参考訳(メタデータ) (2025-03-11T16:10:36Z) - How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。
破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。
実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
論文 参考訳(メタデータ) (2024-10-23T06:47:29Z) - Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models [57.86303579812877]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念に基づいて、解釈可能なモデル決定を可能にする画像分類である。
既存のアプローチは、強いパフォーマンスを達成するために、画像ごとに多数の人間の介入を必要とすることが多い。
本稿では,概念関係を利用した学習型概念認識介入モジュールについて紹介する。
論文 参考訳(メタデータ) (2024-05-02T17:59:01Z) - LoRA-Composer: Leveraging Low-Rank Adaptation for Multi-Concept Customization in Training-Free Diffusion Models [33.379758040084894]
ドメイン内の課題として、マルチコンセプトのカスタマイズが登場します。
既存のアプローチでは、複数のローランド適応(LoRA)の融合行列をトレーニングして、さまざまな概念をひとつのイメージにマージすることが多い。
LoRA-Composerは、複数のLoRAをシームレスに統合するために設計されたトレーニング不要のフレームワークである。
論文 参考訳(メタデータ) (2024-03-18T09:58:52Z) - Mix-of-Show: Decentralized Low-Rank Adaptation for Multi-Concept
Customization of Diffusion Models [72.67967883658957]
低ランク適応(LoRA)を用いた新しい概念に対して、公共の大規模テキスト・画像拡散モデルを簡単にカスタマイズできる。
複数のカスタマイズされた概念を共同でサポートするために複数の概念LoRAを利用することは、課題である。
我々は、分散化されたマルチコンセプトカスタマイズの課題に対処するMix-of-Showと呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T17:58:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。