論文の概要: Local Conditional Controlling for Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2312.08768v3
• Date: Thu, 22 Aug 2024 06:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 19:45:30.462018
• Title: Local Conditional Controlling for Text-to-Image Diffusion Models
• Title（参考訳）: テキスト・画像拡散モデルにおける局所条件制御
• Authors: Yibo Zhao, Liang Peng, Yang Yang, Zekai Luo, Hengjia Li, Yao Chen, Zheng Yang, Xiaofei He, Wei Zhao, qinglin lu, Boxi Wu, Wei Liu,
• Abstract要約: 拡散モデルは、テキスト・ツー・イメージのタスクにおいて素晴らしい成果を上げている。 近年の手法では、エッジマップや深度マップなどの画像レベルの構造制御を追加して、テキストプロンプトとともに生成プロセスを操作し、所望の画像を取得する。 この制御プロセスは、制御領域の柔軟性を制限する全画像上でグローバルに操作される。
• 参考スコア（独自算出の注目度）: 26.54188248406709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have exhibited impressive prowess in the text-to-image task. Recent methods add image-level structure controls, e.g., edge and depth maps, to manipulate the generation process together with text prompts to obtain desired images. This controlling process is globally operated on the entire image, which limits the flexibility of control regions. In this paper, we explore a novel and practical task setting: local control. It focuses on controlling specific local region according to user-defined image conditions, while the remaining regions are only conditioned by the original text prompt. However, it is non-trivial to achieve local conditional controlling. The naive manner of directly adding local conditions may lead to the local control dominance problem, which forces the model to focus on the controlled region and neglect object generation in other regions. To mitigate this problem, we propose Regional Discriminate Loss to update the noised latents, aiming at enhanced object generation in non-control regions. Furthermore, the proposed Focused Token Response suppresses weaker attention scores which lack the strongest response to enhance object distinction and reduce duplication. Lastly, we adopt Feature Mask Constraint to reduce quality degradation in images caused by information differences across the local control region. All proposed strategies are operated at the inference stage. Extensive experiments demonstrate that our method can synthesize high-quality images aligned with the text prompt under local control conditions.
• Abstract（参考訳）: 拡散モデルは、テキスト・ツー・イメージのタスクにおいて素晴らしい成果を上げている。 近年の手法では、テキストプロンプトとともに生成プロセスを操作するために、エッジマップや深度マップなどの画像レベルの構造制御を追加し、所望の画像を取得する。 この制御プロセスは、制御領域の柔軟性を制限する全画像上でグローバルに操作される。 本稿では,新しい,実践的なタスク・セッティングであるローカル・コントロールについて検討する。 ユーザが定義した画像条件に従って特定のローカル領域を制御することに焦点を当て、残りの領域は元のテキストプロンプトによってのみ条件付けられている。 しかし、局所的な条件制御を実現することは自明ではない。 局所的な条件を直接追加するという単純な手法は、制御された領域に焦点を絞らざるを得ず、他の領域でのオブジェクト生成を無視する局所的な制御優位の問題につながる可能性がある。 この問題を軽減するために,非制御領域におけるオブジェクト生成の強化を目標として,雑音のある潜伏者を更新するための地域識別損失を提案する。 さらに,本提案手法は,被写体識別の強化と重複の低減のために,最強応答に欠ける注意スコアを抑える。 最後に,局所的な制御領域間での情報差による画質劣化を低減するために,特徴マスク制約を適用した。 提案された戦略はすべて推論段階で運用される。 局所制御条件下でのテキストプロンプトに整合した高品質な画像の合成が可能であることを示す。

関連論文リスト

• Region-Aware Text-to-Image Generation via Hard Binding and Soft Refinement [40.94329069897935]
  本稿では,正確なレイアウト構成のための地域記述を前提とした地域認識テキスト・画像生成手法であるRAGを提案する。 RAGは従来のチューニング不要手法よりも属性バインディングやオブジェクト関係よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-11-10T18:45:41Z)
• GLoD: Composing Global Contexts and Local Details in Image Generation [0.0]
  Global-Local Diffusion (textitGLoD)は、グローバルコンテキストとローカル詳細の同時制御を可能にする新しいフレームワークである。 複数のグローバルなプロンプトとローカルなプロンプトを対応するレイヤに割り当て、ノイズを発生させるプロセスのガイドとして構成する。 本フレームワークは,グローバルなプロンプト内のオブジェクトをローカルなプロンプトで条件付けし,他の未特定なアイデンティティを保存しながら,複雑なグローバルなローカルなコンポジションを実現する。
  論文  参考訳（メタデータ） (2024-04-23T18:39:57Z)
• Layout-to-Image Generation with Localized Descriptions using ControlNet with Cross-Attention Control [20.533597112330018]
  レイアウト・ツー・イメージタスクにおけるControlNetの限界を示し、ローカライズされた記述を使えるようにする。 制御性を改善しつつ画像品質を維持するために,新しいクロスアテンション操作法を開発した。
  論文  参考訳（メタデータ） (2024-02-20T22:15:13Z)
• LIME: Localized Image Editing via Attention Regularization in Diffusion Models [74.3811832586391]
  本稿では,ユーザ指定の関心領域 (RoI) や追加のテキスト入力を必要としない拡散モデルにおける局所化画像編集のためのLIMEを提案する。 本手法では,事前学習した手法と単純なクラスタリング手法を用いて,正確なセマンティックセグメンテーションマップを得る。 そこで本研究では,RoIにおける非関係なクロスアテンションスコアをデノナイジングステップ中にペナライズし,局所的な編集を確実にする新しいクロスアテンション正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:59Z)
• Uni-ControlNet: All-in-One Control to Text-to-Image Diffusion Models [82.19740045010435]
  ローカルコントロールとグローバルコントロールの同時利用を可能にする統合フレームワークであるUni-ControlNetを紹介した。 既存の方法とは異なり、Uni-ControlNetは、凍結した事前訓練されたテキスト-画像拡散モデル上に2つのアダプタを微調整するだけでよい。 Uni-ControlNetは、制御性、生成品質、構成性の観点から、既存のメソッドよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:58Z)
• Region-Aware Diffusion for Zero-shot Text-driven Image Editing [78.58917623854079]
  本稿では,エンティティレベルの画像編集のための領域認識拡散モデル(RDM)を提案する。 画像の忠実度と推論速度のバランスをとるために,集中拡散パイプラインを設計する。 その結果、RDMは、視覚的品質、全体的な調和、非編集領域のコンテンツ保存、テキストイメージのセマンティック一貫性において、従来のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T06:20:29Z)
• LC-NeRF: Local Controllable Face Generation in Neural Randiance Field [55.54131820411912]
  LC-NeRFは、ローカルリージョンジェネレータモジュールと空間認識融合モジュールで構成される。 本手法は,最先端の顔編集法よりも局所的な編集が優れている。 また,テキスト駆動型顔画像編集など,下流のタスクでもよく機能する。
  論文  参考訳（メタデータ） (2023-02-19T05:50:08Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• MinMaxCAM: Improving object coverage for CAM-basedWeakly Supervised Object Localization [46.36600006968488]
  弱監督対象の定位化のための2つの表現正規化メカニズムを提案する。 完全領域正規化は対象領域内のローカライゼーションマップのカバレッジを最大化し、共通領域正規化は背景領域で発生するアクティベーションを最小限に抑える。 我々は、ImageNet, CUB-200-2011 と OpenImages-segmentation データセットの2つの正則化を評価し、提案した正則化が両問題に対処し、最先端を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-04-29T14:39:53Z)
• Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators? [100.60938767993088]
  任意の入力画像に適応し、フレキシブルな目的の下で自然な翻訳効果をレンダリングできる軽量な最適化アルゴリズムを提案する。 フォトリアリズムと一貫性の両方を必要とする高解像度画像の顔属性編集において,提案するフレームワークの性能を検証する。
  論文  参考訳（メタデータ） (2020-11-19T07:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。