論文の概要: Self-Cross Diffusion Guidance for Text-to-Image Synthesis of Similar Subjects

• arxiv url: http://arxiv.org/abs/2411.18936v2
• Date: Mon, 24 Mar 2025 19:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 20:14:16.572110
• Title: Self-Cross Diffusion Guidance for Text-to-Image Synthesis of Similar Subjects
• Title（参考訳）: 類似主題のテキスト・画像合成のための自己クロース拡散誘導
• Authors: Weimin Qiu, Jieke Wang, Meng Tang,
• Abstract要約: 自己クロース拡散誘導(Self-Cross Diffusion Guidance)は、クロスアテンションマップとアグリゲートされた自己アテンションマップの重複を罰する。 各被験者に対して、より高い横断的な値を持つパッチの自己注意マップを集約する。 提案手法は,Unetベースの拡散モデルとTransformerベースの拡散モデルの両方の性能を向上させる。
• 参考スコア（独自算出の注目度）: 1.419173007355272
• License:
• Abstract: Diffusion models achieved unprecedented fidelity and diversity for synthesizing image, video, 3D assets, etc. However, subject mixing is an unresolved issue for diffusion-based image synthesis, particularly for synthesizing multiple similar-looking subjects. We propose Self-Cross Diffusion Guidance to penalize the overlap between cross-attention maps and the aggregated self-attention map. Compared to previous methods based on self-attention or cross-attention alone, our guidance is more effective in eliminating subject mixing. What's more, our guidance addresses subject mixing for all relevant patches beyond the most discriminant one, e.g., the beak of a bird. For each subject, we aggregate self-attention maps of patches with higher cross-attention values. Thus, the aggregated self-attention map forms a region that the whole subject attends to. Our training-free method boosts the performance of both Unet-based and Transformer-based diffusion models such as the Stable Diffusion series. We also release a similar subjects dataset (SSD), a challenging benchmark, and utilize GPT-4o for automatic and reliable evaluation. Extensive qualitative and quantitative results demonstrate the effectiveness of our self-cross diffusion guidance.
• Abstract（参考訳）: 拡散モデルは、画像、ビデオ、3Dアセットなどの合成において、前例のない忠実さと多様性を達成した。 しかし、被写体混合は拡散に基づく画像合成において未解決の問題であり、特に類似した複数の被写体を合成する問題である。 本稿では,クロスアテンションマップとアグリゲートされた自己アテンションマップの重なり合いを罰するセルフクロス拡散誘導法を提案する。 従来の自己注意法やクロスアテンション法に比べ,被験者混合の除去に有効な指導法である。 さらに、私たちのガイダンスは、最も識別しやすいもの、例えば鳥のくちばし以外のすべての関連パッチの混合を対象としています。 各被験者に対して、より高い横断的値を持つパッチの自己注意マップを集計する。 このように、集約された自己注意写像は、被写体全体が参加する領域を形成する。 トレーニング不要な手法は、安定拡散系列のようなUnetベースの拡散モデルとトランスフォーマーベースの拡散モデルの両方の性能を向上させる。 また、同様の対象データセット(SSD)もリリースし、GPT-4oを自動的かつ信頼性の高い評価に利用しています。 大規模定性的,定量的な結果から,自己交叉拡散誘導の有効性が示された。

関連論文リスト

• DiffDoctor: Diagnosing Image Diffusion Models Before Treating [57.82359018425674]
  DiffDoctorは2段階のパイプラインで、画像拡散モデルがより少ないアーティファクトを生成するのを支援する。 我々は100万以上の欠陥のある合成画像のデータセットを収集し、効率的なHuman-in-the-loopアノテーションプロセスを構築した。 そして、学習したアーティファクト検出器を第2段階に巻き込み、各画像に画素ごとの信頼マップを割り当てて拡散モデルをチューニングする。
  論文  参考訳（メタデータ） (2025-01-21T18:56:41Z)
• iSeg: An Iterative Refinement-based Framework for Training-free Segmentation [85.58324416386375]
  本稿では,自己注意マップを用いた横断注意マップの繰り返し精錬に関する実験的検討を行った。 トレーニング不要セグメンテーションのための効果的な反復改良フレームワークiSegを提案する。 提案したiSegは,mIoUの3.8%の絶対ゲインを達成している。
  論文  参考訳（メタデータ） (2024-09-05T03:07:26Z)
• Merging and Splitting Diffusion Paths for Semantically Coherent Panoramas [33.334956022229846]
  本稿では,Merge-Attend-Diffuse演算子を提案する。 具体的には、拡散経路をマージし、自己および横断的意図をプログラムし、集約された潜在空間で操作する。 提案手法は,生成した画像の入力プロンプトと視覚的品質との整合性を維持しつつ,セマンティック・コヒーレンスを増大させる。
  論文  参考訳（メタデータ） (2024-08-28T09:22:32Z)
• FreeCompose: Generic Zero-Shot Image Composition with Diffusion Prior [50.0535198082903]
  我々は,複数の入力イメージを単一のコヒーレントなイメージに統合する,新しい画像合成手法を提案する。 本稿では, 大規模事前学習拡散モデルに内在する強力な生成的前駆体を利用して, 汎用画像合成を実現する可能性を示す。
  論文  参考訳（メタデータ） (2024-07-06T03:35:43Z)
• Be Yourself: Bounded Attention for Multi-Subject Text-to-Image Generation [60.943159830780154]
  本稿では,サンプリングプロセスにおける情報フローをバウンドする訓練不要な手法である境界注意法を紹介する。 提案手法は,与えられたプロンプトとレイアウトの整合性を向上する複数の主題の生成に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-25T17:52:07Z)
• Isolated Diffusion: Optimizing Multi-Concept Text-to-Image Generation Training-Freely with Isolated Diffusion Guidance [19.221431052643222]
  本稿では,テキストと画像の拡散モデルに対して,複雑な場面における各主題間の相互干渉に対処するための一般的なアプローチを提案する。 本稿では,各アタッチメントを対応する対象に分割したテキストプロンプトで個別に結合することを提案する。 そして、各被験者を個別にテキストプロンプトで分離・再合成し、相互干渉を避ける。
  論文  参考訳（メタデータ） (2024-03-25T17:16:27Z)
• Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention Regulation in Diffusion Models [23.786473791344395]
  拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。 本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。 実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-11T02:18:27Z)
• Stable Diffusion for Data Augmentation in COCO and Weed Datasets [5.81198182644659]
  本研究は, 安定拡散モデルの有効性を評価するために, 7つの共通カテゴリーと3つの広く分布する雑草種を利用した。 安定拡散に基づく3つの手法(画像から画像への変換,ドリームブース,コントロールネット)を,焦点の異なる画像生成に利用した。 そして、これらの合成画像に基づいて分類・検出タスクを行い、その性能を原画像で訓練されたモデルと比較した。
  論文  参考訳（メタデータ） (2023-12-07T02:23:32Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。