論文の概要: SpotActor: Training-Free Layout-Controlled Consistent Image Generation

• arxiv url: http://arxiv.org/abs/2409.04801v1
• Date: Sat, 7 Sep 2024 11:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 20:41:31.836740
• Title: SpotActor: Training-Free Layout-Controlled Consistent Image Generation
• Title（参考訳）: SpotActor: トレーニング不要のレイアウト整合画像生成
• Authors: Jiahao Wang, Caixia Yan, Weizhan Zhang, Haonan Lin, Mengmeng Wang, Guang Dai, Tieliang Gong, Hao Sun, Jingdong Wang,
• Abstract要約: 双対セマンティックラテント空間における最適化による二元エネルギー誘導の新しい形式化を提案する。 本研究では,レイアウト条件付き後方更新ステージと一貫した前方サンプリングステージを備えたトレーニングフリーパイプラインSpotActorを提案する。 その結果、SpotActorはこのタスクの期待を達成し、実用的な応用の可能性を示した。
• 参考スコア（独自算出の注目度）: 43.2870588035256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image diffusion models significantly enhance the efficiency of artistic creation with high-fidelity image generation. However, in typical application scenarios like comic book production, they can neither place each subject into its expected spot nor maintain the consistent appearance of each subject across images. For these issues, we pioneer a novel task, Layout-to-Consistent-Image (L2CI) generation, which produces consistent and compositional images in accordance with the given layout conditions and text prompts. To accomplish this challenging task, we present a new formalization of dual energy guidance with optimization in a dual semantic-latent space and thus propose a training-free pipeline, SpotActor, which features a layout-conditioned backward update stage and a consistent forward sampling stage. In the backward stage, we innovate a nuanced layout energy function to mimic the attention activations with a sigmoid-like objective. While in the forward stage, we design Regional Interconnection Self-Attention (RISA) and Semantic Fusion Cross-Attention (SFCA) mechanisms that allow mutual interactions across images. To evaluate the performance, we present ActorBench, a specified benchmark with hundreds of reasonable prompt-box pairs stemming from object detection datasets. Comprehensive experiments are conducted to demonstrate the effectiveness of our method. The results prove that SpotActor fulfills the expectations of this task and showcases the potential for practical applications with superior layout alignment, subject consistency, prompt conformity and background diversity.
• Abstract（参考訳）: テキストと画像の拡散モデルは、高忠実度画像生成による芸術的創造の効率を著しく向上させる。 しかし、コミックブック制作のような典型的な応用シナリオでは、各主題を期待される場所に配置することも、各主題のイメージ全体に対する一貫した外観を維持することもできない。 これらの問題に対して、レイアウト条件やテキストプロンプトに応じて一貫した合成画像を生成する新しいタスク、Layout-to-Consistent-Image (L2CI) 生成を考案した。 この課題を達成するために,二元的セマンティックラテント空間における最適化による二元的エネルギー誘導の新たな形式化を提案し,レイアウト条件付き後方更新ステージと一貫した前方サンプリングステージを備えたトレーニング不要パイプラインであるSpotActorを提案する。 後方の段階では、シグモイドのような目的によって注意活性化を模倣するニュアンス配置エネルギー関数を革新する。 前段階においては、画像間の相互通信を可能にする領域相互接続自己認識(RISA)と意味融合相互認識(SFCA)機構を設計する。 ActorBenchは、オブジェクト検出データセットから派生した何百もの適切なプロンプトボックスペアを持つ特定のベンチマークである。 本手法の有効性を示すための総合的な実験を行った。 その結果、SpotActorはこのタスクの期待を達成し、より優れたレイアウトアライメント、主題の整合性、迅速な整合性、背景の多様性を持つ実用的なアプリケーションの可能性を示した。

関連論文リスト

• TALE: Training-free Cross-domain Image Composition via Adaptive Latent Manipulation and Energy-guided Optimization [59.412236435627094]
  TALEは、テキストから画像への拡散モデルの生成機能を利用する、トレーニング不要のフレームワークである。 TALEにはAdaptive Latent ManipulationとEnergy-Guided Latent Optimizationという2つのメカニズムが備わっている。 本実験は,TALEが従来のベースラインを超え,画像誘導合成における最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-07T08:52:21Z)
• MS-Diffusion: Multi-subject Zero-shot Image Personalization with Layout Guidance [6.4680449907623006]
  本研究では,マルチオブジェクトを用いたレイアウト誘導ゼロショット画像パーソナライズのためのMS-Diffusionフレームワークを提案する。 提案した多目的クロスアテンションオーケストラは、テキストの制御を保ちながら、オブジェクト間コンポジションを編成する。
  論文  参考訳（メタデータ） (2024-06-11T12:32:53Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• LoCo: Locally Constrained Training-Free Layout-to-Image Synthesis [24.925757148750684]
  テキストプロンプトとレイアウト命令の両方に整合した高品質な画像を生成するのに優れたレイアウト・ツー・イメージ合成のためのトレーニング不要なアプローチを提案する。 LoCoは既存のテキスト・ツー・イメージモデルとレイアウト・ツー・イメージモデルにシームレスに統合され、空間制御の性能を高め、以前の方法で観察された意味障害に対処する。
  論文  参考訳（メタデータ） (2023-11-21T04:28:12Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
  仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。 マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。 提案手法は,定性的かつ定量的に最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-07-19T10:01:31Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。