論文の概要: Disentangling to Re-couple: Resolving the Similarity-Controllability Paradox in Subject-Driven Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2604.00849v1
- Date: Wed, 01 Apr 2026 13:03:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.993397
- Title: Disentangling to Re-couple: Resolving the Similarity-Controllability Paradox in Subject-Driven Text-to-Image Generation
- Title(参考訳): 再結合:主観駆動型テキスト・画像生成における類似性-制御可能性パラドックスの解消
- Authors: Shuang Li, Chao Deng, Hang Chen, Liqun Liu, Zhenyu Hu, Te Cao, Mengge Xue, Yuan Chen, Peng Shu, Huan Yu, Jie Jiang,
- Abstract要約: 視覚情報とテキスト情報を再結合するフレームワークであるDisCoを提案する。
提案手法はパラドックスを効果的に解決し,高忠実度被写体保存と正確なテキスト制御を同時に実現する。
- 参考スコア(独自算出の注目度): 38.61976178933174
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Subject-Driven Text-to-Image (T2I) Generation aims to preserve a subject's identity while editing its context based on a text prompt. A core challenge in this task is the "similarity-controllability paradox", where enhancing textual control often degrades the subject's fidelity, and vice-versa. We argue this paradox stems from the ambiguous role of text prompts, which are often tasked with describing both the subject and the desired modifications, leading to conflicting signals for the model. To resolve this, we propose DisCo, a novel framework that first Disntangles and then re-Couples visual and textual information. First, our textual-visual decoupling module isolates the sources of information: subject identity is extracted exclusively from the reference image with the entity word of the subject, while the text prompt is simplified to contain only the modification command, where the subject refers to general pronouns, eliminating descriptive ambiguity. However, this strict separation can lead to unnatural compositions between the subject and its contexts. We address this by designing a dedicated reward signal and using reinforcement learning to seamlessly recouple the visually-defined subject and the textually-generated context. Our approach effectively resolves the paradox, enabling simultaneous high-fidelity subject preservation and precise textual control. Extensive experiments demonstrate that our method achieves state-of-the-art performance, producing highly realistic and coherent images.
- Abstract(参考訳): 主題駆動型テキスト・トゥ・イメージ(T2I)生成は、テキスト・プロンプトに基づいてコンテキストを編集しながら、被験者のアイデンティティを保存することを目的としている。
この課題における中核的な課題は「類似性制御性パラドックス」であり、テキスト制御の強化は主題の忠実度を劣化させ、逆転させる。
我々は、このパラドックスはテキストプロンプトの曖昧な役割に起因しており、しばしば主題と所望の修正の両方を記述することを任務としており、モデルに対する矛盾するシグナルにつながっていると論じている。
そこで本研究では,まずディスタングルと視覚情報とテキスト情報を再結合する新しいフレームワークであるDisCoを提案する。
まず、本文と視覚の疎結合モジュールは、参照画像から対象の実体語を排他的に抽出し、テキストプロンプトは、一般代名詞を参照する修正コマンドのみを含むように簡略化され、記述的曖昧さが排除される。
しかし、この厳密な分離は主題とその文脈の間に不自然な構成をもたらす可能性がある。
我々は、専用報酬信号の設計と強化学習を用いて、視覚的に定義された主題とテキストで生成されたコンテキストをシームレスに分離することで、この問題に対処する。
提案手法はパラドックスを効果的に解決し,高忠実度被写体保存と正確なテキスト制御を同時に実現する。
広汎な実験により,本手法は最先端の性能を実証し,現実的で一貫性のある画像を生成する。
関連論文リスト
- Image Generation from Contextually-Contradictory Prompts [50.999420029656214]
本稿では,プロキシプロンプトのシーケンスを用いて認知過程をガイドする段階認識プロンプト分解フレームワークを提案する。
本手法は,文脈矛盾の存在下でのきめ細かな意味制御と正確な画像生成を可能にする。
論文 参考訳(メタデータ) (2025-06-02T17:48:12Z) - One Image is Worth a Thousand Words: A Usability Preservable Text-Image Collaborative Erasing Framework [127.07102988701092]
我々は、最初のテキストイメージ協調概念消去(Co-Erasing)フレームワークを紹介する。
Co-Erasingは、テキストプロンプトと、プロンプトによって誘導されるそれに対応する望ましくないイメージによって、この概念を共同で記述する。
我々は,テキストガイドによる画像概念の洗練戦略を設計し,特定のテキスト概念に最も関係のある視覚的特徴に焦点を当てるようモデルに指示する。
論文 参考訳(メタデータ) (2025-05-16T11:25:50Z) - RealCustom++: Representing Images as Real Textual Word for Real-Time Customization [56.30487886962172]
テキストと特定の主題の画像が与えられた場合、テキスト・ツー・イメージのカスタマイズは、テキストと被写体の両方の外観に合わせた新しい画像を生成することを目的としている。
既存の作品は擬似語パラダイムに従っており、それは対象を存在しない擬似語として表現し、他のテキストと組み合わせて画像を生成する。
提案するRealCustom++は,非コンフリクトな実単語で対象を表現し,まずコヒーレントなガイダンス画像とそれに対応する主題マスクを生成する。
論文 参考訳(メタデータ) (2024-08-19T07:15:44Z) - Text Guided Image Editing with Automatic Concept Locating and Forgetting [27.70615803908037]
画像中の潜在的なターゲット概念を特定するために,Locate and Forget (LaF) と呼ばれる新しい手法を提案する。
本手法はベースラインと比較して,テキスト誘導画像編集作業において質的かつ定量的に優位性を示す。
論文 参考訳(メタデータ) (2024-05-30T05:36:32Z) - RealCustom: Narrowing Real Text Word for Real-Time Open-Domain
Text-to-Image Customization [57.86083349873154]
テキスト・ツー・イメージのカスタマイズは、与えられた被験者に対してテキスト駆動の画像を合成することを目的としている。
既存の作品は擬似語パラダイム、すなわち、与えられた主題を擬似語として表現し、与えられたテキストで合成する。
我々は、RealCustomを初めて、被写体の影響を関連部分のみに正確に制限することで、制御性から類似性を解き放つことを提示する。
論文 参考訳(メタデータ) (2024-03-01T12:12:09Z) - DreamInpainter: Text-Guided Subject-Driven Image Inpainting with
Diffusion Models [37.133727797607676]
本研究は,テキストガイドによる主題駆動画像の描画について紹介する。
我々は、被写体再現の精度を確保するために、密集した被写体特徴を計算する。
我々は、余分な被写体の詳細を排除するために識別トークン選択モジュールを使用します。
論文 参考訳(メタデータ) (2023-12-05T22:23:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。