論文の概要: RealCustom++: Representing Images as Real Textual Word for Real-Time Customization
- arxiv url: http://arxiv.org/abs/2408.09744v3
- Date: Sun, 26 Oct 2025 08:14:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 17:41:21.282516
- Title: RealCustom++: Representing Images as Real Textual Word for Real-Time Customization
- Title（参考訳）: RealCustom++: リアルタイムカスタマイズのためのリアルテキストワードとしてのイメージ表現
- Authors: Zhendong Mao, Mengqi Huang, Fei Ding, Mingcong Liu, Qian He, Yongdong Zhang,
- Abstract要約: テキストと特定の主題の画像が与えられた場合、テキスト・ツー・イメージのカスタマイズは、テキストと被写体の両方の外観に合わせた新しい画像を生成することを目的としている。
既存の作品は擬似語パラダイムに従っており、それは対象を存在しない擬似語として表現し、他のテキストと組み合わせて画像を生成する。
提案するRealCustom++は,非コンフリクトな実単語で対象を表現し,まずコヒーレントなガイダンス画像とそれに対応する主題マスクを生成する。
- 参考スコア（独自算出の注目度）: 56.30487886962172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a text and an image of a specific subject, text-to-image customization aims to generate new images that align with both the text and the subject's appearance. Existing works follow the pseudo-word paradigm, which represents the subject as a non-existent pseudo word and combines it with other text to generate images. However, the pseudo word causes semantic conflict from its different learning objective and entanglement from overlapping influence scopes with other texts, resulting in a dual-optimum paradox where subject similarity and text controllability cannot be optimal simultaneously. To address this, we propose RealCustom++, a novel real-word paradigm that represents the subject with a non-conflicting real word to firstly generate a coherent guidance image and corresponding subject mask, thereby disentangling the influence scopes of the text and subject for simultaneous optimization. Specifically, RealCustom++ introduces a train-inference decoupled framework: (1) during training, it learns a general alignment between visual conditions and all real words in the text; and (2) during inference, a dual-branch architecture is employed, where the Guidance Branch produces the subject guidance mask and the Generation Branch utilizes this mask to customize the generation of the specific real word exclusively within subject-relevant regions. In contrast to previous methods that excel in either controllability or similarity, RealCustom++ achieves superior performance in both, with improvements of 7.48% in controllability, 3.04% in similarity, and 76.43% in generation quality. For multi-subject customization, RealCustom++ further achieves improvements of 4.6% in controllability and 6.34% in multi-subject similarity. Our work has been applied in JiMeng of ByteDance, and codes are released at https://github.com/bytedance/RealCustom.
- Abstract（参考訳）: テキストと特定の主題の画像が与えられた場合、テキスト・ツー・イメージのカスタマイズは、テキストと被写体の両方の外観に合わせた新しい画像を生成することを目的としている。
既存の作品は擬似語パラダイムに従っており、それは対象を存在しない擬似語として表現し、他のテキストと組み合わせて画像を生成する。
しかし、擬似語は、異なる学習目標から意味的対立を引き起こし、他のテキストと重複する影響範囲からの絡み合いを引き起こすため、主題の類似性とテキストの制御性が同時に最適にできない双対最適パラドックスが生じる。
そこで本研究では,非複雑実語を主語として表現し,まずコヒーレントな誘導画像と対応する主語マスクを生成し,テキストと主語の影響範囲を解消し,同時に最適化する,新しい実語パラダイムであるRealCustom++を提案する。
具体的には、RealCustom++は、トレーニング中に、(1)視覚条件とテキスト中のすべての実単語の一般的な一致を学習し、(2)推論中に、二重ブランチアーキテクチャを使用し、そこで、ガイダンスブランチが主観的なガイダンスマスクを生成し、ジェネレーションブランチは、このマスクを使用して、主観的関連領域内でのみ特定の実単語の生成をカスタマイズする。
制御性や類似性に優れていた従来のメソッドとは対照的に、RealCustom++は、制御性7.48%、類似性3.04%、世代品質76.43%の改善など、両面で優れたパフォーマンスを実現している。
マルチオブジェクトのカスタマイズでは、RealCustom++はさらに4.6%のコントロール性と6.34%のマルチオブジェクト類似性の改善を実現している。
私たちの仕事はByteDanceのJiMengで適用され、コードについてはhttps://github.com/bytedance/RealCustom.comで公開されています。
関連論文リスト
- Image-Text Co-Decomposition for Text-Supervised Semantic Segmentation [28.24883865053459]
本稿では,高密度アノテーションを伴わない画像テキストペアのみを用いて,画像内の任意の視覚概念をセグメント化できるモデルを学習することを目的とする。
既存の手法では、画像とテキストのペアにおけるコントラスト学習が、視覚セグメントとテキストの意味を効果的に一致させることが示されている。
テキストはしばしば複数の意味概念で構成され、セマンティックセグメンテーションは意味的に同質なセグメンテーションを作成する。
論文 参考訳（メタデータ） (2024-04-05T17:25:17Z) - RealCustom: Narrowing Real Text Word for Real-Time Open-Domain
Text-to-Image Customization [57.86083349873154]
テキスト・ツー・イメージのカスタマイズは、与えられた被験者に対してテキスト駆動の画像を合成することを目的としている。
既存の作品は擬似語パラダイム、すなわち、与えられた主題を擬似語として表現し、与えられたテキストで合成する。
我々は、RealCustomを初めて、被写体の影響を関連部分のみに正確に制限することで、制御性から類似性を解き放つことを提示する。
論文 参考訳（メタデータ） (2024-03-01T12:12:09Z) - Training-Free Consistent Text-to-Image Generation [80.4814768762066]
テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。
既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。
本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
論文 参考訳（メタデータ） (2024-02-05T18:42:34Z) - Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。
本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T08:23:46Z) - Plug-and-Play Diffusion Features for Text-Driven Image-to-Image
Translation [10.39028769374367]
本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。
本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
論文 参考訳（メタデータ） (2022-11-22T20:39:18Z) - Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。
既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。
ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
論文 参考訳（メタデータ） (2022-08-04T07:51:48Z) - CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。
CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。
提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-11-30T07:29:08Z) - FILIP: Fine-grained Interactive Language-Image Pre-Training [106.19474076935363]
微粒な対話型言語-画像事前学習は、モーダルな遅延相互作用機構を通じてより細粒度なアライメントを実現する。
我々は,FILIP300Mと呼ばれる大規模画像テキストペアデータセットを構築し,事前学習を行う。
実験により、FILIPは複数の下流視覚言語タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2021-11-09T17:15:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。