論文の概要: RichControl: Structure- and Appearance-Rich Training-Free Spatial Control for Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2507.02792v3
- Date: Fri, 03 Oct 2025 02:54:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 14:21:29.815922
- Title: RichControl: Structure- and Appearance-Rich Training-Free Spatial Control for Text-to-Image Generation
- Title（参考訳）: RichControl:テキスト・画像生成のための構造・外観訓練自由空間制御
- Authors: Liheng Zhang, Lexi Pang, Hang Ye, Xiaoxuan Ma, Yizhou Wang,
- Abstract要約: テキスト・ツー・イメージ(T2I)拡散モデルでは,テキスト・プロンプトから高品質な画像を生成することに成功した。
本稿では, 条件特徴のサンプリングスケジュールをデノナイジングプロセスから切り離すフレキシブルなトレーニングフリーフレームワークを提案する。
再調整スケジュールを導入することでサンプリングプロセスをさらに強化し、外観に富んだプロンプト戦略で視覚的品質を向上させる。
- 参考スコア（独自算出の注目度）: 10.956556608715035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image (T2I) diffusion models have shown remarkable success in generating high-quality images from text prompts. Recent efforts extend these models to incorporate conditional images (e.g., canny edge) for fine-grained spatial control. Among them, feature injection methods have emerged as a training-free alternative to traditional fine-tuning-based approaches. However, they often suffer from structural misalignment, condition leakage, and visual artifacts, especially when the condition image diverges significantly from natural RGB distributions. Through an empirical analysis of existing methods, we identify a key limitation: the sampling schedule of condition features, previously unexplored, fails to account for the evolving interplay between structure preservation and domain alignment throughout diffusion steps. Inspired by this observation, we propose a flexible training-free framework that decouples the sampling schedule of condition features from the denoising process, and systematically investigate the spectrum of feature injection schedules for a higher-quality structure guidance in the feature space. Specifically, we find that condition features sampled from a single timestep are sufficient, yielding a simple yet efficient schedule that balances structure alignment and appearance quality. We further enhance the sampling process by introducing a restart refinement schedule, and improve the visual quality with an appearance-rich prompting strategy. Together, these designs enable training-free generation that is both structure-rich and appearance-rich. Extensive experiments show that our approach achieves state-of-the-art results across diverse zero-shot conditioning scenarios.
- Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルでは,テキスト・プロンプトから高品質な画像を生成することに成功した。
近年の取り組みは、細粒度空間制御のための条件付き画像(例えば、カニーエッジ)を組み込むよう、これらのモデルを拡張している。
その中には、従来の微調整ベースのアプローチに代わるトレーニング不要の手法としてフィーチャーインジェクションが登場している。
しかし、特に条件画像が自然のRGB分布と大きく異なる場合、構造的ミスアライメント、条件リーク、視覚的アーティファクトに悩まされることが多い。
既存手法の実証分析により, 従来未調査であった条件特徴のサンプリングスケジュールは, 拡散過程全体にわたる構造保存とドメインアライメントの相互関係の進化を考慮できないという, 重要な制約が明らかになった。
この観察に触発されたフレキシブルなトレーニングフリーフレームワークを提案し,特徴空間における高品質な構造ガイダンスのための特徴注入スケジュールのスペクトルを系統的に検討する。
具体的には、1つの時間ステップからサンプリングした条件特徴が十分であり、構造アライメントと外観品質のバランスをとる単純なスケジュールが得られる。
再調整スケジュールを導入することでサンプリングプロセスをさらに強化し、外観に富んだプロンプト戦略で視覚的品質を向上させる。
これらの設計は、構造豊かで外観豊かなトレーニング不要な生成を可能にする。
広汎な実験により,本手法は様々なゼロショット条件付きシナリオにまたがって最先端の結果が得られることが示された。
関連論文リスト
- Restoring Real-World Images with an Internal Detail Enhancement Diffusion Model [9.520471615470267]
古い写真や低解像度画像などの現実世界の劣化画像の復元は、大きな課題となる。
最近のデータ駆動型アプローチは、高忠実度復元と、色付けに対するオブジェクトレベル制御の達成に苦慮している。
実世界の劣化画像の高忠実性復元のための内部詳細保存拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-05-24T12:32:53Z) - From Missing Pieces to Masterpieces: Image Completion with Context-Adaptive Diffusion [98.31811240195324]
ConFillは、各拡散ステップで生成された画像とオリジナル画像の差を小さくする新しいフレームワークである。
現行の手法より優れており、画像補完の新しいベンチマークが設定されている。
論文 参考訳（メタデータ） (2025-04-19T13:40:46Z) - PixelPonder: Dynamic Patch Adaptation for Enhanced Multi-Conditional Text-to-Image Generation [24.964136963713102]
単一制御構造下で複数の視覚条件を効果的に制御できる新しい統一制御フレームワークであるPixelPonderを提案する。
具体的には、サブリージョンレベルで空間的に関連する制御信号を動的に優先順位付けするパッチレベル適応条件選択機構を設計する。
大規模な実験では、PixelPonderがさまざまなベンチマークデータセットにまたがる従来のメソッドを上回ることが示されている。
論文 参考訳（メタデータ） (2025-03-09T16:27:02Z) - ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。
本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
論文 参考訳（メタデータ） (2024-08-10T08:53:41Z) - TALE: Training-free Cross-domain Image Composition via Adaptive Latent Manipulation and Energy-guided Optimization [59.412236435627094]
TALEは、テキストから画像への拡散モデルの生成機能を利用する、トレーニング不要のフレームワークである。
TALEにはAdaptive Latent ManipulationとEnergy-Guided Latent Optimizationという2つのメカニズムが備わっている。
本実験は,TALEが従来のベースラインを超え,画像誘導合成における最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-08-07T08:52:21Z) - Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。
本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
論文 参考訳（メタデータ） (2024-07-10T19:58:04Z) - Powerful and Flexible: Personalized Text-to-Image Generation via Reinforcement Learning [40.06403155373455]
個人化されたテキスト・画像生成のための新しい強化学習フレームワークを提案する。
提案手法は、テキストアライメントを維持しながら、視覚的忠実度に大きな差で既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2024-07-09T08:11:53Z) - TCIG: Two-Stage Controlled Image Generation with Quality Enhancement
through Diffusion [0.0]
画像生成における制御性と高品質を両立させる2段階の手法を提案する。
制御性と高品質を分離することにより,優れた結果が得られる。
論文 参考訳（メタデータ） (2024-03-02T13:59:02Z) - DreamDrone: Text-to-Image Diffusion Models are Zero-shot Perpetual View Generators [56.994967294931286]
テキストプロンプトからフライスルーシーンを生成する新しいゼロショット・トレーニングフリーパイプラインであるDreamDroneを紹介する。
我々は、高品質な画像生成と非有界な一般化能力のために、事前訓練されたテキスト・画像拡散モデルの中間潜時符号を明示的に修正することを提唱する。
論文 参考訳（メタデータ） (2023-12-14T08:42:26Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳（メタデータ） (2023-09-30T02:03:22Z) - Controlling Text-to-Image Diffusion by Orthogonal Finetuning [74.21549380288631]
そこで本研究では,テキストから画像への拡散モデルを下流タスクに適用するための原理的な微調整手法であるorthogonal Finetuning(OFT)を提案する。
既存の方法とは異なり、OFTは単位超球上の対のニューロン関係を特徴付ける超球面エネルギーを確実に保存することができる。
我々のOFTフレームワークは、生成品質と収束速度において既存の手法よりも優れていることを実証的に示す。
論文 参考訳（メタデータ） (2023-06-12T17:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。