論文の概要: Training-free Conditional Object Composition for Multi-object Image Generation with Diffusion Models
- arxiv url: http://arxiv.org/abs/2611.00804v1
- Date: Sat, 31 Oct 2026 10:30:32 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:00:11.444144
- Title: Training-free Conditional Object Composition for Multi-object Image Generation with Diffusion Models
- Title(参考訳): 拡散モデルを用いた多目的画像生成のための訓練不要条件付きオブジェクト構成
- Abstract要約: 本研究では,ジョイントジェネレーション手法を緩和する,条件付きオブジェクト合成と呼ばれるトレーニング不要のフレームワークを提案する。
私たちのフレームワークは、$N$オブジェクトの生成を2つのステージに分解します。
広範に採用されているMSデータセットを用いて,多目的画像生成における本手法の評価を行った。
- 参考スコア(独自算出の注目度): 8.992949195529343
- License:
- Abstract: Multi-object image generation in text-to-image diffusion models remains challenging, as existing approaches struggle to reliably generate all objects specified in a prompt. Compositional approaches that generate objects independently often fail to capture the interactions among them, whereas joint generation methods tend to suffer from inter-object interference. In this work, we propose a training-free framework, termed conditional object composition, that relaxes joint generation methods by taking one step back toward compositional approaches. Our framework decomposes the generation of $N$ objects into two stages: it first generates a subset of $N-1$ objects and then composes the remaining object conditioned on the generated content. To enable effective composition, we adopt an inpainting-based formulation with layout guidance to preserve existing regions and encourage spatially coherent placement. To address the challenge of selecting which objects to generate separately, we introduce an attention-based scoring mechanism based on cross-attention maps and further explore the use of off-the-shelf object detectors. We evaluate our method on multi-object image generation using the widely adopted MS COCO dataset. Experimental results show that our approach achieves competitive or improved performance compared to existing methods, particularly as the number of objects increases. Further studies highlight the importance of the proposed design choices. The source code is available at https://github.com/ShampooWang/condComp_imageGen/tree/main
- Abstract(参考訳): テキストから画像への拡散モデルにおけるマルチオブジェクト画像生成は、既存のアプローチでは、プロンプトで指定された全てのオブジェクトを確実に生成するのに苦労しているため、依然として困難である。
オブジェクトを独立に生成する構成的アプローチは、オブジェクト間の相互作用を捉えるのに失敗することが多いが、ジョイントジェネレーション手法はオブジェクト間の干渉に悩まされる傾向がある。
本研究では,構成的アプローチへの一歩を遡って共同生成手法を緩和する,学習不要な条件付きオブジェクト合成手法を提案する。
私たちのフレームワークは、$N$オブジェクトの生成を2つのステージに分解します。
効率的な構成を実現するために,既存の領域を保存し,空間的に整合性のある配置を奨励するために,レイアウトガイダンス付き塗装ベースの定式化を採用する。
個別に生成するオブジェクトを選択することの課題に対処するために,関心に基づくアテンションマップに基づくスコアリング機構を導入し,オフザシェルフ物体検出装置のさらなる活用について検討する。
広範に採用されているMS COCOデータセットを用いて,多目的画像生成手法の評価を行った。
実験結果から,本手法は既存の手法と比較して,特にオブジェクト数の増加に伴って,競争力や性能の向上を図っている。
さらなる研究は、提案された設計選択の重要性を強調している。
ソースコードはhttps://github.com/ShampooWang/condComp_imageGen/tree/mainで入手できる。
関連論文リスト
- PoseGAM: Robust Unseen Object Pose Estimation via Geometry-Aware Multi-View Reasoning [49.66437612420291]
PoseGAMは、クエリ画像と複数のテンプレート画像からオブジェクトのポーズを直接予測する幾何学的なマルチビューフレームワークである。
多様な環境条件下で190k以上のオブジェクトを含む大規模合成データセットを構築した。
論文 参考訳(メタデータ) (2025-12-11T17:29:25Z) - SINGAPO: Single Image Controlled Generation of Articulated Parts in Objects [20.978091381109294]
本稿では,単一画像から音声オブジェクトを生成する手法を提案する。
提案手法は,入力画像と視覚的に一致した音声オブジェクトを生成する。
実験の結果,本手法は音声によるオブジェクト生成における最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-10-21T20:41:32Z) - Resolving Multi-Condition Confusion for Finetuning-Free Personalized Image Generation [10.416673784744281]
本稿では,複数の参照画像特徴を対応オブジェクトにマージする重み付きマージ手法を提案する。
提案手法は,マルチオブジェクト・パーソナライズされた画像生成のためのConcept101データセットとDreamBoothデータセットの最先端技術よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2024-09-26T15:04:13Z) - Taming Encoder for Zero Fine-tuning Image Customization with
Text-to-Image Diffusion Models [55.04969603431266]
本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。
この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。
提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
論文 参考訳(メタデータ) (2023-04-05T17:59:32Z) - Localizing Object-level Shape Variations with Text-to-Image Diffusion
Models [60.422435066544814]
本稿では,特定の物体の形状の変化を表現した画像の集合を生成する手法を提案する。
オブジェクトのバリエーションを生成する際の特に課題は、オブジェクトの形状に適用される操作を正確にローカライズすることである。
画像空間の操作をローカライズするために,自己注意層と交差注意層を併用する2つの手法を提案する。
論文 参考訳(メタデータ) (2023-03-20T17:45:08Z) - Context-Aware Layout to Image Generation with Enhanced Object Appearance [123.62597976732948]
レイアウト・トゥ・イメージ(l2i)生成モデルの目的は、自然背景(スタフ)に対して複数のオブジェクト(もの)を含む複雑な画像を生成することである。
既存のL2Iモデルは大きな進歩を遂げているが、オブジェクト間とオブジェクト間の関係はしばしば壊れている。
これらの原因は、ジェネレータにコンテキスト認識オブジェクトや機能エンコーディングがないことと、識別装置に位置依存の外観表現がないことにあります。
論文 参考訳(メタデータ) (2021-03-22T14:43:25Z) - Object-Centric Image Generation from Layouts [93.10217725729468]
複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。
本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。
本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
論文 参考訳(メタデータ) (2020-03-16T21:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。