論文の概要: InstanceControl: Controllable Complex Image Generation without Instance Labeling

• arxiv url: http://arxiv.org/abs/2606.31924v1
• Date: Tue, 30 Jun 2026 16:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.315179
• Title: InstanceControl: Controllable Complex Image Generation without Instance Labeling
• Title（参考訳）: InstanceControl: インスタンスラベルなしの制御可能な複合イメージ生成
• Abstract要約: 本稿では,インスタンスラベリングの必要性を解消する新しい制御可能な生成手法であるInstanceControlを提案する。 我々は、VLM(Vision-Language Model)を活用し、テキストプロンプトと視覚条件のインスタンスレベルの対応を確立する。 我々の手法は最先端の手法より優れ、優れた忠実度と高精度なインスタンスレベルの制御を実現している。
• 参考スコア（独自算出の注目度）: 57.00586546940602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controllable image generation methods, such as ControlNet, have demonstrated a remarkable capacity to introduce visual conditions(e.g., depth maps) to guide image generation. However, these methods often struggle with complex multi-instance scenes, frequently leading to attribute confusion among instances. While recent approaches attempt to mitigate this via manual instance labeling, such requirements are labor-intensive. In this paper, we propose InstanceControl, a novel multi-instance controllable generation method that eliminates the need for instance labeling. We identify the primary bottleneck in existing methods as the inability to accurately associate instance descriptions with their corresponding regions within visual conditions. To address this, we leverage the Vision-Language Model (VLM) to establish instance-level correspondences between text prompts and visual conditions. Specifically, the VLM automatically parses instance descriptions from the text prompts and simultaneously predicts instance masks based on the visual conditions. Furthermore, since the predicted masks may contain noise, we introduce an adaptive mask refinement strategy that dynamically refines these instance masks during the generation process. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, achieving superior fidelity and precise instance-level control.
• Abstract（参考訳）: ControlNetのような制御可能な画像生成手法は、画像生成をガイドする視覚的条件(例えば深度マップ)を導入する際、顕著な能力を示した。 しかし、これらの手法は複雑なマルチインスタンスシーンに苦しむことが多く、多くの場合、インスタンス間の属性の混同につながる。 最近のアプローチでは、手動のインスタンスラベリングによってこれを緩和しようとしているが、そのような要件は労働集約的である。 本稿では,インスタンスラベリングの必要性を解消する新しいマルチインスタンス制御可能生成手法であるInstanceControlを提案する。 既存の手法の主なボトルネックは、視覚的条件下でインスタンス記述と対応する領域を正確に関連付けることができないことである。 そこで本研究では、VLM(Vision-Language Model)を利用して、テキストプロンプトと視覚条件のインスタンスレベルの対応を確立する。 具体的には、VLMはテキストプロンプトから自動的にインスタンス記述を解析し、視覚条件に基づいて同時にインスタンスマスクを予測する。 さらに, 予測マスクはノイズを含む可能性があるため, 生成過程でこれらのマスクを動的に洗練する適応マスク精錬戦略を導入する。 大規模な実験により,本手法は最先端の手法より優れ,忠実度と高精度なインスタンスレベルの制御を実現していることが示された。

関連論文リスト

• MoGen: A Unified Collaborative Framework for Controllable Multi-Object Image Generation [76.94658056824422]
  MoGenは、ユーザフレンドリーなマルチオブジェクト画像生成方法である。 まず、言語記述中のフレーズ単位を対応する画像領域に正確に固定する地域意味アンカー(RSA)モジュールを設計する。 適応型マルチモーダルガイダンス(AMG)モジュールを導入し,マルチソース制御信号の様々な組み合わせを適応的に解析・統合する。
  論文  参考訳（メタデータ） (2026-01-09T05:57:48Z)
• A Simple yet Powerful Instance-Aware Prompting Framework for Training-free Camouflaged Object Segmentation [6.712332323439369]
  タスクジェネリックプロンプトをきめ細かなインスタンスマスクに明示的に変換する,トレーニング不要なCamouflaged Objectパイプラインを提案する。 提案したIAPFは、既存の最先端のトレーニングフリーなCOSメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-08-09T09:35:32Z)
• LLM-guided Instance-level Image Manipulation with Diffusion U-Net Cross-Attention Maps [5.836227628651603]
  本稿では,大規模言語モデル,オープンボキャブラリ検出器,クロスアテンションマップ,インスタンスレベルの画像操作のための拡散U-Netを活用するパイプラインを提案する。 提案手法は,プロンプトに記述されたオブジェクトと生成画像に存在するオブジェクトを検知し,広範囲なトレーニングや入力マスクを使わずに正確な操作を可能にする。
  論文  参考訳（メタデータ） (2025-01-23T19:26:14Z)
• Generating Compositional Scenes via Text-to-image RGBA Instance Generation [82.63805151691024]
  テキストから画像への拡散生成モデルは、退屈な急進的なエンジニアリングを犠牲にして高品質な画像を生成することができる。 本稿では, 粒度制御, 柔軟性, 相互作用性を考慮した新しい多段階生成パラダイムを提案する。 実験の結果,RGBA拡散モデルでは,オブジェクト属性を正確に制御した多種多様な高品質なインスタンスを生成できることがわかった。
  論文  参考訳（メタデータ） (2024-11-16T23:44:14Z)
• Open-Vocabulary Segmentation with Unpaired Mask-Text Supervision [87.15580604023555]
  Unpair-Segは、弱制御されたオープン語彙セグメンテーションフレームワークである。 未ペア画像マスクと画像テキストペアから学習し、独立して効率的に収集することができる。 ADE-847とPASCAL Context-459データセットで14.6%と19.5%のmIoUを達成した。
  論文  参考訳（メタデータ） (2024-02-14T06:01:44Z)
• InstanceDiffusion: Instance-level Control for Image Generation [89.31908006870422]
  InstanceDiffusionは、テキストから画像への拡散モデルに正確なインスタンスレベルの制御を追加する。 そこで本研究では,テキスト・ツー・イメージ・モデルに3つの大きな変更を加えて,高精度なインスタンスレベルの制御を実現する。
  論文  参考訳（メタデータ） (2024-02-05T18:49:17Z)
• Mask-free OVIS: Open-Vocabulary Instance Segmentation without Manual Mask Annotations [86.47908754383198]
  Open-Vocabulary (OV) 法は、大規模な画像キャプチャペアと視覚言語モデルを利用して、新しいカテゴリを学習する。 提案手法は,イメージキャプションペアに存在するオブジェクトに対して,事前学習された視覚言語モデルの局所化能力を活用することで,擬似マスクアノテーションを生成する。 擬似マスクを用いてトレーニングした手法は,MS-COCOデータセットとOpenImagesデータセットのmAPスコアを大幅に改善する。
  論文  参考訳（メタデータ） (2023-03-29T17:58:39Z)
• GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation [16.900404701997502]
  本稿では,潜伏マスクに条件付き画像を生成するGANベースのアプローチを提案する。 このようなマスク条件の画像生成は、マスクを階層的に条件付ける際に忠実に学習できることを示す。 また、セグメンテーションネットワークをトレーニングするためのイメージマスクペアの生成も可能で、既存のベンチマークでは、最先端の教師なしセグメンテーションメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-12-02T07:57:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。