論文の概要: PixelPonder: Dynamic Patch Adaptation for Enhanced Multi-Conditional Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2503.06684v1
• Date: Sun, 09 Mar 2025 16:27:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:48:35.127107
• Title: PixelPonder: Dynamic Patch Adaptation for Enhanced Multi-Conditional Text-to-Image Generation
• Title（参考訳）: PixelPonder: マルチコンディショナルテキスト・画像生成のための動的パッチ適応
• Authors: Yanjie Pan, Qingdong He, Zhengkai Jiang, Pengcheng Xu, Chaoyi Wang, Jinlong Peng, Haoxuan Wang, Yun Cao, Zhenye Gan, Mingmin Chi, Bo Peng, Yabiao Wang,
• Abstract要約: 単一制御構造下で複数の視覚条件を効果的に制御できる新しい統一制御フレームワークであるPixelPonderを提案する。 具体的には、サブリージョンレベルで空間的に関連する制御信号を動的に優先順位付けするパッチレベル適応条件選択機構を設計する。 大規模な実験では、PixelPonderがさまざまなベンチマークデータセットにまたがる従来のメソッドを上回ることが示されている。
• 参考スコア（独自算出の注目度）: 24.964136963713102
• License:
• Abstract: Recent advances in diffusion-based text-to-image generation have demonstrated promising results through visual condition control. However, existing ControlNet-like methods struggle with compositional visual conditioning - simultaneously preserving semantic fidelity across multiple heterogeneous control signals while maintaining high visual quality, where they employ separate control branches that often introduce conflicting guidance during the denoising process, leading to structural distortions and artifacts in generated images. To address this issue, we present PixelPonder, a novel unified control framework, which allows for effective control of multiple visual conditions under a single control structure. Specifically, we design a patch-level adaptive condition selection mechanism that dynamically prioritizes spatially relevant control signals at the sub-region level, enabling precise local guidance without global interference. Additionally, a time-aware control injection scheme is deployed to modulate condition influence according to denoising timesteps, progressively transitioning from structural preservation to texture refinement and fully utilizing the control information from different categories to promote more harmonious image generation. Extensive experiments demonstrate that PixelPonder surpasses previous methods across different benchmark datasets, showing superior improvement in spatial alignment accuracy while maintaining high textual semantic consistency.
• Abstract（参考訳）: 拡散型テキスト・画像生成の最近の進歩は、視覚条件制御による有望な結果を示している。 しかし、既存のControlNetのような手法は構成的な視覚条件付けに苦しむ - 高い視覚的品質を維持しながら、複数の異種制御信号にまたがる意味的忠実さを同時に保存する。 この問題に対処するために,新しい統一制御フレームワークであるPixelPonderを提案する。 具体的には、サブリージョンレベルで空間的に関連のある制御信号を動的に優先順位付けするパッチレベルの適応条件選択機構を設計し、グローバルな干渉なしに正確な局所誘導を可能にする。 さらに、デノイングタイムステップに応じて条件影響を変調し、構造保存からテクスチャリファインメントへ段階的に移行し、異なるカテゴリからの制御情報をフル活用して、より調和した画像生成を促進するために、タイムアウェア制御インジェクションスキームを配置する。 大規模な実験では、PixelPonderがさまざまなベンチマークデータセットにまたがる従来のメソッドを超えることが示され、高いテキストセマンティック一貫性を維持しながら、空間アライメントの精度が向上した。

関連論文リスト

• DC-ControlNet: Decoupling Inter- and Intra-Element Conditions in Image Generation with Diffusion Models [55.42794740244581]
  マルチ条件画像生成のためのフレームワークであるDC(Decouple)-ControlNetを紹介する。 DC-ControlNetの背景にある基本的な考え方は、制御条件を分離し、グローバルな制御を階層的なシステムに変換することである。 要素間の相互作用について、多要素間相互作用を正確に処理するInter-Element Controllerを導入する。
  論文  参考訳（メタデータ） (2025-02-20T18:01:02Z)
• DynamicControl: Adaptive Condition Selection for Improved Text-to-Image Generation [63.63429658282696]
  多様な制御信号の動的組み合わせをサポートするDynamicControlを提案する。 様々な条件下での制御性,生成品質,構成性の観点から,DynamicControlは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-04T11:54:57Z)
• Generating Compositional Scenes via Text-to-image RGBA Instance Generation [82.63805151691024]
  テキストから画像への拡散生成モデルは、退屈な急進的なエンジニアリングを犠牲にして高品質な画像を生成することができる。 本稿では, 粒度制御, 柔軟性, 相互作用性を考慮した新しい多段階生成パラダイムを提案する。 実験の結果,RGBA拡散モデルでは,オブジェクト属性を正確に制御した多種多様な高品質なインスタンスを生成できることがわかった。
  論文  参考訳（メタデータ） (2024-11-16T23:44:14Z)
• ControlVAR: Exploring Controllable Visual Autoregressive Modeling [48.66209303617063]
  拡散モデル(DM)の出現により、条件付き視覚発生は顕著に進展した。 高価な計算コスト、高い推論遅延、大規模言語モデル(LLM)との統合の難しさといった課題は、DMに代わる方法を模索する必要がある。 本稿では,フレキシブルかつ効率的な条件生成のための視覚自己回帰モデリングにおける画素レベル制御を探求する新しいフレームワークであるControlmoreを紹介する。
  論文  参考訳（メタデータ） (2024-06-14T06:35:33Z)
• Layout-to-Image Generation with Localized Descriptions using ControlNet with Cross-Attention Control [20.533597112330018]
  レイアウト・ツー・イメージタスクにおけるControlNetの限界を示し、ローカライズされた記述を使えるようにする。 制御性を改善しつつ画像品質を維持するために,新しいクロスアテンション操作法を開発した。
  論文  参考訳（メタデータ） (2024-02-20T22:15:13Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• Layered Rendering Diffusion Model for Controllable Zero-Shot Image Synthesis [15.76266032768078]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 まず、摂動分布の基本的な空間的キューとして視覚誘導を導入する。 本稿では,複数のレイヤからなる画像レンダリングプロセスを構築する汎用フレームワークであるLayered Rendering Diffusion (LRDiff)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation [79.8881514424969]
  テキスト条件拡散モデルは多種多様な内容の高忠実度画像を生成することができる。 しかし、言語表現はしばしば、想定された目的像の曖昧な記述を示す。 様々なモダリティを1つの埋め込みに混ぜるパイプラインであるCocktailを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:55:32Z)
• Controllable Text Generation via Probability Density Estimation in the Latent Space [16.962510129437558]
  本稿では,潜在空間における確率密度推定を用いた新しい制御フレームワークを提案する。 本手法では,非可逆変換関数である正規化フローを用いて,潜在空間の複素分布を先行空間の単純ガウス分布にマッピングする。 単一属性制御と多属性制御の実験により,本手法は属性関連性やテキスト品質の強いベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-12-16T07:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。