論文の概要: SmartControl: Enhancing ControlNet for Handling Rough Visual Conditions

• arxiv url: http://arxiv.org/abs/2404.06451v1
• Date: Tue, 9 Apr 2024 16:53:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 13:51:47.794345
• Title: SmartControl: Enhancing ControlNet for Handling Rough Visual Conditions
• Title（参考訳）: SmartControl: 粗い視覚条件を扱うためのコントロールネットの強化
• Authors: Xiaoyu Liu, Yuxiang Wei, Ming Liu, Xianhui Lin, Peiran Ren, Xuansong Xie, Wangmeng Zuo,
• Abstract要約: テキストプロンプトに適応するための粗い視覚条件を修正するために,SmartControlと呼ばれる新しいT2I生成手法を提案する。 SmartControlのキーとなる考え方は、テキストプロンプトと矛盾する領域の視覚状態を緩和することです。 4つの典型的な視覚条件に対する実験は、我々のSmartControlが最先端技術に対して有効であることを明確に示している。
• 参考スコア（独自算出の注目度）: 59.53867290769282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human visual imagination usually begins with analogies or rough sketches. For example, given an image with a girl playing guitar before a building, one may analogously imagine how it seems like if Iron Man playing guitar before Pyramid in Egypt. Nonetheless, visual condition may not be precisely aligned with the imaginary result indicated by text prompt, and existing layout-controllable text-to-image (T2I) generation models is prone to producing degraded generated results with obvious artifacts. To address this issue, we present a novel T2I generation method dubbed SmartControl, which is designed to modify the rough visual conditions for adapting to text prompt. The key idea of our SmartControl is to relax the visual condition on the areas that are conflicted with text prompts. In specific, a Control Scale Predictor (CSP) is designed to identify the conflict regions and predict the local control scales, while a dataset with text prompts and rough visual conditions is constructed for training CSP. It is worth noting that, even with a limited number (e.g., 1,000~2,000) of training samples, our SmartControl can generalize well to unseen objects. Extensive experiments on four typical visual condition types clearly show the efficacy of our SmartControl against state-of-the-arts. Source code, pre-trained models, and datasets are available at https://github.com/liuxiaoyu1104/SmartControl.
• Abstract（参考訳）: 人間の視覚的想像力は、通常、類推や粗いスケッチから始まる。 例えば、建物の前でギターを弾く少女の写真を見ると、エジプトのピラミッドの前でアイアンマンがギターを弾くような姿を想像できるかもしれない。 それでも、視覚状態はテキストプロンプトによって示される想像結果と正確に一致しない可能性があり、既存のレイアウト制御可能なテキスト・ツー・イメージ(T2I)生成モデルは、明らかにアーティファクトを持つ劣化した結果を生成する傾向にある。 そこで本研究では,テキストプロンプトに適応するための粗い視覚条件の修正を目的とした,SmartControlと呼ばれる新しいT2I生成手法を提案する。 SmartControlのキーとなる考え方は、テキストプロンプトと矛盾する領域の視覚状態を緩和することです。 具体的には、制御スケール予測器(CSP)は、競合領域を特定し、局所的な制御スケールを予測するように設計されており、テキストプロンプトと粗い視覚条件を備えたデータセットは、CSPをトレーニングするために構築されている。 限られた数のトレーニングサンプル(例:1,000~2000)であっても、SmartControlは目に見えないオブジェクトにうまく一般化することができます。 一般的な4種類の視覚条件に対する広範囲な実験は、我々のSmartControlが最先端技術に対して有効であることを明確に示している。 ソースコード、事前トレーニングされたモデル、データセットはhttps://github.com/liuxiaoyu1104/SmartControl.comで入手できる。

関連論文リスト

• CtrLoRA: An Extensible and Efficient Framework for Controllable Image Generation [69.43106794519193]
  本稿では,複数のベース条件からイメージ・ツー・イメージ生成の共通知識を学習するために,ベース制御ネットを訓練するCtrLoRAフレームワークを提案する。 学習可能なパラメータをControlNetと比較して90%削減し,モデルの重み付けとデプロイのしきい値を大幅に下げる。
  論文  参考訳（メタデータ） (2024-10-12T07:04:32Z)
• PreciseControl: Enhancing Text-To-Image Diffusion Models with Fine-Grained Attribute Control [24.569528214869113]
  StyleGANモデルは、前もってリッチな顔を学習し、潜時操作による微粒化属性編集へのスムーズな制御を可能にする。 この作業では、StyleGANsの逆向きの$mathcalW+$スペースを使用して、T2Iモデルを条件付けする。 顔のパーソナライゼーションと微粒化属性編集の手法を検証するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-07-24T07:10:25Z)
• AnyControl: Create Your Artwork with Versatile Control on Text-to-Image Generation [24.07613591217345]
  言語制御は効果的なコンテンツ生成を可能にするが、画像生成のきめ細かい制御に苦慮する。 AnyControlは、生成プロセスのガイドとして、統一されたマルチモーダル埋め込みを抽出する、新しいマルチControlフレームワークを開発している。 このアプローチは、ユーザ入力の全体的理解を可能にし、汎用的な制御信号の下で高品質で忠実な結果を生成する。
  論文  参考訳（メタデータ） (2024-06-27T07:40:59Z)
• Enhancing Prompt Following with Visual Control Through Training-Free Mask-Guided Diffusion [27.61734719689046]
  視覚制御によるプロンプト追従を強化するために,Mask-guided Prompt following (MGPF) というトレーニングフリーアプローチを提案する。 MGPFの有効性と優位性は、総合的な定量的および定性的実験によって検証される。
  論文  参考訳（メタデータ） (2024-04-23T06:10:43Z)
• FineControlNet: Fine-level Text Control for Image Generation with Spatially Aligned Text Control Injection [28.65209293141492]
  FineControlNetは、正確なポーズ制御能力を維持しながら、各インスタンスの外観を細かく制御する。 FineControlNetは、ユーザが提供したインスタンス固有のテキストプロンプトとポーズに従うイメージを生成する上で、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-12-14T18:59:43Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• AutoStory: Generating Diverse Storytelling Images with Minimal Human Effort [55.83007338095763]
  本稿では,多種多様で高品質で一貫したストーリーイメージを効果的に生成できる自動ストーリー可視化システムを提案する。 本研究では,大規模言語モデルの理解と計画能力をレイアウト計画に利用し,大規模テキスト・画像モデルを用いて高度なストーリー画像を生成する。
  論文  参考訳（メタデータ） (2023-11-19T06:07:37Z)
• Uni-ControlNet: All-in-One Control to Text-to-Image Diffusion Models [82.19740045010435]
  ローカルコントロールとグローバルコントロールの同時利用を可能にする統合フレームワークであるUni-ControlNetを紹介した。 既存の方法とは異なり、Uni-ControlNetは、凍結した事前訓練されたテキスト-画像拡散モデル上に2つのアダプタを微調整するだけでよい。 Uni-ControlNetは、制御性、生成品質、構成性の観点から、既存のメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:58Z)
• UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild [166.25327094261038]
  制御可能なコンディション・トゥ・イメージ(C2I)タスクのための新しい生成基盤モデルUniControlを紹介する。 UniControlは、任意の言語プロンプトを許容しながら、特定のフレームワーク内で幅広いC2Iタスクを統合する。 9つのユニークなC2Iタスクで訓練されたUniControlは、印象的なゼロショット生成能力を誇示している。
  論文  参考訳（メタデータ） (2023-05-18T17:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。