論文の概要: Region-Aware Text-to-Image Generation via Hard Binding and Soft Refinement

• arxiv url: http://arxiv.org/abs/2411.06558v2
• Date: Fri, 15 Nov 2024 14:38:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:01.771088
• Title: Region-Aware Text-to-Image Generation via Hard Binding and Soft Refinement
• Title（参考訳）: ハードボンディングとソフトリファインメントによる地域対応テキスト・画像生成
• Authors: Zhennan Chen, Yajie Li, Haofan Wang, Zhibo Chen, Zhengkai Jiang, Jun Li, Qian Wang, Jian Yang, Ying Tai,
• Abstract要約: 本稿では,正確なレイアウト構成のための地域記述を前提とした地域認識テキスト・画像生成手法であるRAGを提案する。 RAGは従来のチューニング不要手法よりも属性バインディングやオブジェクト関係よりも優れた性能を実現している。
• 参考スコア（独自算出の注目度）: 40.94329069897935
• License:
• Abstract: Regional prompting, or compositional generation, which enables fine-grained spatial control, has gained increasing attention for its practicality in real-world applications. However, previous methods either introduce additional trainable modules, thus only applicable to specific models, or manipulate on score maps within cross-attention layers using attention masks, resulting in limited control strength when the number of regions increases. To handle these limitations, we present RAG, a Regional-Aware text-to-image Generation method conditioned on regional descriptions for precise layout composition. RAG decouple the multi-region generation into two sub-tasks, the construction of individual region (Regional Hard Binding) that ensures the regional prompt is properly executed, and the overall detail refinement (Regional Soft Refinement) over regions that dismiss the visual boundaries and enhance adjacent interactions. Furthermore, RAG novelly makes repainting feasible, where users can modify specific unsatisfied regions in the last generation while keeping all other regions unchanged, without relying on additional inpainting models. Our approach is tuning-free and applicable to other frameworks as an enhancement to the prompt following property. Quantitative and qualitative experiments demonstrate that RAG achieves superior performance over attribute binding and object relationship than previous tuning-free methods.
• Abstract（参考訳）: 空間制御のきめ細かい地域的プロンプトや構成生成は、現実の応用においてその実用性に注目が集まっている。 しかし、従来の手法ではトレーニング可能なモジュールが追加され、特定のモデルにのみ適用されるか、アテンションマスクを用いてクロスアテンション層内のスコアマップを操作することで、リージョン数が増加すると制御強度が制限される。 これらの制約に対処するため,地域記述に厳密なレイアウト構成を規定した地域認識テキスト・画像生成手法であるRAGを提案する。 RAGは、複数の領域の生成を2つのサブタスクに分離し、地域的なプロンプトを保証する個別の領域(Regional Hard Binding)の構築を適切に実行し、視覚的境界を排除し、隣接する相互作用を強化する領域全体の詳細化(Regional Soft Refinement)を行う。 さらに、RAGは新規に塗り替え可能で、ユーザーは他のすべての領域を変更せずに、前世代の特定の不満足な領域を変更できる。 我々のアプローチはチューニングフリーであり、プロンプト後続プロパティの強化として他のフレームワークに適用できる。 定量的および定性的な実験により、RAGは従来のチューニング不要な手法よりも属性結合やオブジェクト関係よりも優れた性能を達成できることを示した。

関連論文リスト

• Differentiable Reasoning about Knowledge Graphs with Region-based Graph Neural Networks [62.93577376960498]
  知識グラフ(KG)の完成法は、意味的正則性を捕捉し、これらの正則性を用いて、明示的に記述されていない妥当な知識を推測する必要がある。 ほとんどの埋め込みベースの手法はキャプチャ可能な正規性には不透明であるが、領域ベースのKG埋め込みモデルはより透明な代替手段として現れている。 命令制約に基づくシンプルなモデルであるRESHUFFLEを提案し、既存のアプローチよりもはるかに大きなルールベースを忠実に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-13T18:37:24Z)
• RTGen: Generating Region-Text Pairs for Open-Vocabulary Object Detection [20.630629383286262]
  オープン・ボキャブラリ・オブジェクト検出は、地域-セマンティック関係のソリッド・モデリングを必要とする。 拡張性のあるオープン語彙領域-テキストペアを生成するRTGenを提案する。
  論文  参考訳（メタデータ） (2024-05-30T09:03:23Z)
• RegionGPT: Towards Region Understanding Vision Language Model [88.42271128373191]
  RegionGPT(RGPT)は、複雑な地域レベルのキャプションと理解のために設計された新しいフレームワークである。 我々は、詳細な地域レベルのキャプションを備えたトレーニングセットを充実させる、自動領域キャプションデータ生成パイプラインを開発する。 本研究では,領域レベルのタスクに対して,汎用的なRGPTモデルを効果的に適用し,性能を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-03-04T18:58:08Z)
• Local Conditional Controlling for Text-to-Image Diffusion Models [26.54188248406709]
  拡散モデルは、テキスト・ツー・イメージのタスクにおいて素晴らしい成果を上げている。 近年の手法では、エッジマップや深度マップなどの画像レベルの構造制御を追加して、テキストプロンプトとともに生成プロセスを操作し、所望の画像を取得する。 この制御プロセスは、制御領域の柔軟性を制限する全画像上でグローバルに操作される。
  論文  参考訳（メタデータ） (2023-12-14T09:31:33Z)
• SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form Layout-to-Image Generation [68.42476385214785]
  本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。 SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。 また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
  論文  参考訳（メタデータ） (2023-08-20T04:09:12Z)
• Region-Aware Diffusion for Zero-shot Text-driven Image Editing [78.58917623854079]
  本稿では,エンティティレベルの画像編集のための領域認識拡散モデル(RDM)を提案する。 画像の忠実度と推論速度のバランスをとるために,集中拡散パイプラインを設計する。 その結果、RDMは、視覚的品質、全体的な調和、非編集領域のコンテンツ保存、テキストイメージのセマンティック一貫性において、従来のアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T06:20:29Z)
• Region-Based Semantic Factorization in GANs [67.90498535507106]
  本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。 適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。 様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-02-19T17:46:02Z)
• Domain Adaptive Semantic Segmentation with Regional Contrastive Consistency Regularization [19.279884432843822]
  本稿では,領域適応型セマンティックセマンティックセグメンテーションのための局所コントラスト整合正規化(RCCR)と呼ばれる,新しいエンドツーエンドのトレーニング可能なアプローチを提案する。 私たちの中核となる考え方は、異なる画像の同じ位置から抽出された類似の地域的特徴を取り除き、その一方、2つの画像の異なる位置から特徴を分離することです。
  論文  参考訳（メタデータ） (2021-10-11T11:45:00Z)
• Translate the Facial Regions You Like Using Region-Wise Normalization [27.288255234645472]
  本稿では,地域レベルでの顔翻訳のための正規化フレームワークを提案する。 これにより、異なる領域の形状やテクスチャを様々なターゲットスタイルに翻訳することができる。 我々のアプローチは翻訳対象地域を正確に制御する上でさらに有利である。
  論文  参考訳（メタデータ） (2020-07-29T05:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。