論文の概要: Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion

• arxiv url: http://arxiv.org/abs/2604.24351v1
• Date: Mon, 27 Apr 2026 11:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.956573
• Title: Diffusion Templates: A Unified Plugin Framework for Controllable Diffusion
• Title（参考訳）: Diffusion Templates: 制御可能な拡散のための統一プラグインフレームワーク
• Authors: Zhongjie Duan, Hong Zhang, Yingda Chen,
• Abstract要約: 拡散テンプレートは、制御可能な機能インジェクションからベースモデル推論を分離する。 構造制御,明るさ調整,色調整,画像編集,超解像,シャープネス向上,審美的アライメント,コンテンツ参照,局所塗布,年齢制御を対象とする多様なモデル動物園を構築した。
• 参考スコア（独自算出の注目度）: 5.436122956813992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controllable diffusion methods have substantially expanded the practical utility of diffusion models, but they are typically developed as isolated, backbone-specific systems with incompatible training pipelines, parameter formats, and runtime hooks. This fragmentation makes it difficult to reuse infrastructure across tasks, transfer capabilities across backbones, or compose multiple controls within a single generation pipeline. We present Diffusion Templates, a unified and open plugin framework that decouples base-model inference from controllable capability injection. The framework is organized around three components: Template models that map arbitrary task-specific inputs to an intermediate capability representation, a Template cache that functions as a standardized interface for capability injection, and a Template pipeline that loads, merges, and injects one or more Template caches into the base diffusion runtime. Because the interface is defined at the systems level rather than tied to a specific control architecture, heterogeneous capability carriers such as KV-Cache and LoRA can be supported under the same abstraction. Based on this design, we build a diverse model zoo spanning structural control, brightness adjustment, color adjustment, image editing, super-resolution, sharpness enhancement, aesthetic alignment, content reference, local inpainting, and age control. These case studies show that Diffusion Templates can unify a broad range of controllable generation tasks while preserving modularity, composability, and practical extensibility across rapidly evolving diffusion backbones. All resources will be open sourced, including code, models, and datasets.
• Abstract（参考訳）: 制御可能な拡散法は、拡散モデルの実用性を大幅に拡張してきたが、通常は非互換のトレーニングパイプライン、パラメータフォーマット、実行時フックを備えた、独立したバックボーン固有のシステムとして開発されている。 この断片化により、タスク間のインフラストラクチャの再利用、バックボーン間の転送機能、あるいは単一生成パイプライン内の複数のコントロールの構成が困難になる。 制御可能な機能インジェクションからベースモデル推論を分離する、統一的でオープンなプラグインフレームワークであるDiffusion Templatesを紹介します。 任意のタスク固有の入力を中間機能表現にマッピングするテンプレートモデル、キャパシティインジェクションの標準化されたインターフェースとして機能するテンプレートキャッシュ、ベース拡散ランタイムに1つ以上のテンプレートキャッシュをロード、マージ、注入するテンプレートパイプラインである。 インタフェースは特定の制御アーキテクチャに縛られるのではなくシステムレベルで定義されるため、KV-CacheやLoRAといった異種キャリヤも同じ抽象化でサポートできる。 この設計に基づいて、構造制御、明るさ調整、色調整、画像編集、超解像、シャープネス向上、美的アライメント、コンテンツ参照、局所塗布、年齢制御にまたがる多様なモデル動物園を構築した。 これらのケーススタディは、拡散テンプレートが、急速に進化する拡散バックボーンのモジュラリティ、構成可能性、実践的拡張性を保ちながら、幅広い制御可能な生成タスクを統一できることを示している。 すべてのリソースは、コード、モデル、データセットを含むオープンソースになる。

関連論文リスト

• LegoDiffusion: Micro-Serving Text-to-Image Diffusion Workflows [6.802129554840861]
  テキスト画像生成は、ベース拡散モデルを中心とした複数のモデルからなる拡散ワークフローを実行する。 既存のサービスシステムは、各ワークフローを不透明なモノリスとして扱い、すべての構成モデルをまとめてプロビジョニング、配置、スケーリングします。 ワークフローを疎結合のモデル実行ノードに分解し、独立して管理およびスケジュールすることが可能なシステムであるLegoDiffusionによるマイクロサービス拡散のケースを作成する。
  論文  参考訳（メタデータ） (2026-04-09T11:44:41Z)
• Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers [69.60693631859411]
  本稿では,線形アテンションアーキテクチャ上に構築された制御可能な拡散モデルについて検討する。 本稿では,SANA などのリニアアテンションバックボーンに適した新しい制御可能な拡散フレームワークを提案する。 提案手法は,線形アテンションモデルに基づく最先端の制御可能な生成性能を実現する。
  論文  参考訳（メタデータ） (2026-03-29T12:31:34Z)
• UniLayDiff: A Unified Diffusion Transformer for Content-Aware Layout Generation [54.38636515750502]
  コンテンツ対応レイアウト生成タスクのための統一拡散変換器UniLayDiffを提案する。 我々は、背景画像、レイアウト要素、および多様な制約の間の複雑な相互作用を捉えるために、マルチモード拡散トランスフォーマフレームワークを使用します。 実験により、UniLayDiffは条件のないタスクから様々な条件生成タスクにまたがって最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2025-12-09T18:38:44Z)
• Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach [99.80480649258557]
  DiTFuseは命令駆動のフレームワークで、単一のモデル内でセマンティクスを意識した融合を実行する。 パブリックなIVIF、MFF、MEFベンチマークの実験では、より優れた量的および質的な性能、よりシャープなテクスチャ、より優れたセマンティック保持が確認されている。
  論文  参考訳（メタデータ） (2025-12-08T05:04:54Z)
• CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion [62.04833878126661]
  統合拡散フレームワークにおける映像理解と制御可能な映像生成という2つの課題に対処する。 CtrlVDiffは、Hybrid Modality Control Strategy(HMCS)で訓練された統合拡散モデルであり、深度、正規度、セグメンテーション、エッジ、グラフィックベースの内在性(アルベド、粗さ、金属)から特徴を導出し、融合する。 理解と生成のベンチマーク全体にわたって、CtrlVDiffは優れた制御性と忠実さを提供し、レイヤワイズな編集(リライティング、材料調整、オブジェクト挿入)と最先端のベースラインを越えながら、いくつかのモダリティが利用できない場合の堅牢性を維持している。
  論文  参考訳（メタデータ） (2025-11-26T07:27:11Z)
• Create Anything Anywhere: Layout-Controllable Personalized Diffusion Model for Multiple Subjects [13.980211126764349]
  LCP-Diffusionは、被写体識別をフレキシブルなレイアウトガイダンスと統合した新しいフレームワークである。 実験により、LCP拡散はアイデンティティ保存とレイアウト制御の両面で優れていることが確認された。
  論文  参考訳（メタデータ） (2025-05-27T08:57:07Z)
• Towards Aligned Layout Generation via Diffusion Model with Aesthetic Constraints [53.66698106829144]
  広い範囲のレイアウト生成タスクを処理する統一モデルを提案する。 このモデルは連続拡散モデルに基づいている。 実験結果から,LACEは高品質なレイアウトを生成することがわかった。
  論文  参考訳（メタデータ） (2024-02-07T11:12:41Z)
• DiffBlender: Composable and Versatile Multimodal Text-to-Image Diffusion Models [20.281651578265624]
  一つのアーキテクチャ内で3つのモードを全て処理できるマルチモーダルなT2I拡散モデルを提案する。 我々は、DiffBlenderが複数の情報ソースを効果的に統合し、詳細な画像合成における多様な応用を支援することを実証した。
  論文  参考訳（メタデータ） (2023-05-24T14:31:20Z)
• DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer [2.0483033421034142]
  DLTは離散連続拡散モデルである。 DLTにはフレキシブルな条件付け機構があり、すべてのレイアウトコンポーネントクラス、場所、サイズのいずれかのサブセットを条件付けできる。 提案手法は,様々なレイアウト生成データセット上で,様々なメトリクスや条件設定に対して,最先端の生成モデルより優れています。
  論文  参考訳（メタデータ） (2023-03-07T09:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。