論文の概要: RealCustom++: Representing Images as Real Textual Word for Real-Time Customization
- arxiv url: http://arxiv.org/abs/2408.09744v3
- Date: Sun, 26 Oct 2025 08:14:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 17:41:21.282516
- Title: RealCustom++: Representing Images as Real Textual Word for Real-Time Customization
- Title（参考訳）: RealCustom++: リアルタイムカスタマイズのためのリアルテキストワードとしてのイメージ表現
- Authors: Zhendong Mao, Mengqi Huang, Fei Ding, Mingcong Liu, Qian He, Yongdong Zhang,
- Abstract要約: テキストと特定の主題の画像が与えられた場合、テキスト・ツー・イメージのカスタマイズは、テキストと被写体の両方の外観に合わせた新しい画像を生成することを目的としている。
既存の作品は擬似語パラダイムに従っており、それは対象を存在しない擬似語として表現し、他のテキストと組み合わせて画像を生成する。
提案するRealCustom++は,非コンフリクトな実単語で対象を表現し,まずコヒーレントなガイダンス画像とそれに対応する主題マスクを生成する。
- 参考スコア（独自算出の注目度）: 56.30487886962172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given a text and an image of a specific subject, text-to-image customization aims to generate new images that align with both the text and the subject's appearance. Existing works follow the pseudo-word paradigm, which represents the subject as a non-existent pseudo word and combines it with other text to generate images. However, the pseudo word causes semantic conflict from its different learning objective and entanglement from overlapping influence scopes with other texts, resulting in a dual-optimum paradox where subject similarity and text controllability cannot be optimal simultaneously. To address this, we propose RealCustom++, a novel real-word paradigm that represents the subject with a non-conflicting real word to firstly generate a coherent guidance image and corresponding subject mask, thereby disentangling the influence scopes of the text and subject for simultaneous optimization. Specifically, RealCustom++ introduces a train-inference decoupled framework: (1) during training, it learns a general alignment between visual conditions and all real words in the text; and (2) during inference, a dual-branch architecture is employed, where the Guidance Branch produces the subject guidance mask and the Generation Branch utilizes this mask to customize the generation of the specific real word exclusively within subject-relevant regions. In contrast to previous methods that excel in either controllability or similarity, RealCustom++ achieves superior performance in both, with improvements of 7.48% in controllability, 3.04% in similarity, and 76.43% in generation quality. For multi-subject customization, RealCustom++ further achieves improvements of 4.6% in controllability and 6.34% in multi-subject similarity. Our work has been applied in JiMeng of ByteDance, and codes are released at https://github.com/bytedance/RealCustom.
- Abstract（参考訳）: テキストと特定の主題の画像が与えられた場合、テキスト・ツー・イメージのカスタマイズは、テキストと被写体の両方の外観に合わせた新しい画像を生成することを目的としている。
既存の作品は擬似語パラダイムに従っており、それは対象を存在しない擬似語として表現し、他のテキストと組み合わせて画像を生成する。
しかし、擬似語は、異なる学習目標から意味的対立を引き起こし、他のテキストと重複する影響範囲からの絡み合いを引き起こすため、主題の類似性とテキストの制御性が同時に最適にできない双対最適パラドックスが生じる。
そこで本研究では,非複雑実語を主語として表現し,まずコヒーレントな誘導画像と対応する主語マスクを生成し,テキストと主語の影響範囲を解消し,同時に最適化する,新しい実語パラダイムであるRealCustom++を提案する。
具体的には、RealCustom++は、トレーニング中に、(1)視覚条件とテキスト中のすべての実単語の一般的な一致を学習し、(2)推論中に、二重ブランチアーキテクチャを使用し、そこで、ガイダンスブランチが主観的なガイダンスマスクを生成し、ジェネレーションブランチは、このマスクを使用して、主観的関連領域内でのみ特定の実単語の生成をカスタマイズする。
制御性や類似性に優れていた従来のメソッドとは対照的に、RealCustom++は、制御性7.48%、類似性3.04%、世代品質76.43%の改善など、両面で優れたパフォーマンスを実現している。
マルチオブジェクトのカスタマイズでは、RealCustom++はさらに4.6%のコントロール性と6.34%のマルチオブジェクト類似性の改善を実現している。
私たちの仕事はByteDanceのJiMengで適用され、コードについてはhttps://github.com/bytedance/RealCustom.comで公開されています。
関連論文リスト
- Geometric Disentanglement of Text Embeddings for Subject-Consistent Text-to-Image Generation using A Single Prompt [14.734857939203811]
主観的視点から意味的絡み合いに対処する学習自由アプローチを提案する。
提案手法は既存のベースラインに対する主観的一貫性とテキストアライメントの両方を大幅に改善する。
論文 参考訳（メタデータ） (2025-12-18T11:55:06Z) - FocusDiff: Advancing Fine-Grained Text-Image Alignment for Autoregressive Visual Generation through RL [78.59912944698992]
微細なテキスト画像のセマンティックアライメントを強化するためにFocusDiffを提案する。
我々は、類似した全体表現を持つペアテキストと画像の新しいデータセットを構築するが、局所的な意味論を区別する。
提案手法は,既存のテキスト・画像・ベンチマークにおける最先端性能を実現し,PairCompの先行手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-06-05T18:36:33Z) - Image-Text Co-Decomposition for Text-Supervised Semantic Segmentation [28.24883865053459]
本稿では,高密度アノテーションを伴わない画像テキストペアのみを用いて,画像内の任意の視覚概念をセグメント化できるモデルを学習することを目的とする。
既存の手法では、画像とテキストのペアにおけるコントラスト学習が、視覚セグメントとテキストの意味を効果的に一致させることが示されている。
テキストはしばしば複数の意味概念で構成され、セマンティックセグメンテーションは意味的に同質なセグメンテーションを作成する。
論文 参考訳（メタデータ） (2024-04-05T17:25:17Z) - RealCustom: Narrowing Real Text Word for Real-Time Open-Domain
Text-to-Image Customization [57.86083349873154]
テキスト・ツー・イメージのカスタマイズは、与えられた被験者に対してテキスト駆動の画像を合成することを目的としている。
既存の作品は擬似語パラダイム、すなわち、与えられた主題を擬似語として表現し、与えられたテキストで合成する。
我々は、RealCustomを初めて、被写体の影響を関連部分のみに正確に制限することで、制御性から類似性を解き放つことを提示する。
論文 参考訳（メタデータ） (2024-03-01T12:12:09Z) - Training-Free Consistent Text-to-Image Generation [80.4814768762066]
テキスト・ツー・イメージ・モデルは様々なプロンプトで同じ主題を表現できる。
既存のアプローチは、特定のユーザが提供する主題を記述する新しい単語を教えるためにモデルを微調整する。
本研究では、事前学習モデルの内部アクティベーションを共有することによって、一貫した主題生成を可能にする、トレーニング不要なアプローチであるConsiStoryを提案する。
論文 参考訳（メタデータ） (2024-02-05T18:42:34Z) - FASTER: A Font-Agnostic Scene Text Editing and Rendering Framework [19.564048493848272]
STE(Scene Text Editing)は、画像中の既存のテキストの変更を主な目的とする、難しい研究課題である。
既存のスタイル変換ベースのアプローチでは、複雑な画像背景、多様なフォント属性、テキスト内の様々な単語長によるサブパー編集性能が示されている。
フォントに依存しない新しいシーンテキスト編集・レンダリングフレームワークであるFASTERを提案し,任意のスタイルや場所のテキストを同時に生成する。
論文 参考訳（メタデータ） (2023-08-05T15:54:06Z) - Text-guided Image Restoration and Semantic Enhancement for Text-to-Image Person Retrieval [11.798006331912056]
テキスト・ツー・イメージ・パーソナリティ検索(TIPR)の目的は、与えられたテキスト記述に従って特定の人物画像を取得することである。
本稿では,人物画像と対応するテキスト間のきめ細かいインタラクションとアライメントを構築するための新しいTIPRフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T08:23:46Z) - IMAGINATOR: Pre-Trained Image+Text Joint Embeddings using Word-Level
Grounding of Images [2.9174297412129957]
IMAGINATORは1M画像+テキストペアと21K画像オブジェクトレベルで訓練された。
IMAGINATORは、(i)オブジェクトオブジェクトのコロケーション、(ii)ワードオブジェクトのコロケーション、(iii)ワードオブジェクトの相関の3つの個別表現をカプセル化している。
また, (i) 画像キャプション, (ii) 画像2 つぶやき, (iii) テキストベースの画像検索の3つの下流タスクに対して, 事前訓練したIMAGINATOR JEsを評価する。
論文 参考訳（メタデータ） (2023-05-12T05:34:52Z) - CoBIT: A Contrastive Bi-directional Image-Text Generation Model [72.1700346308106]
CoBITは、新しいユニコーダ・デコーダ構造を採用しており、これは1つのフレームワークで3つの事前学習対象を統一しようとするものである。
CoBITは画像理解、画像テキスト理解(検索、キャプション、VQA、SNLI-VE)、テキストベースのコンテンツ生成、特にゼロショットシナリオにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-03-23T17:24:31Z) - Plug-and-Play Diffusion Features for Text-Driven Image-to-Image
Translation [10.39028769374367]
本稿では,画像間翻訳の領域にテキスト・ツー・イメージ合成を取り入れた新しいフレームワークを提案する。
本手法は,事前学習したテキスト・画像拡散モデルのパワーを利用して,対象のテキストに適合する新たな画像を生成する。
論文 参考訳（メタデータ） (2022-11-22T20:39:18Z) - Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。
既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。
ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
論文 参考訳（メタデータ） (2022-08-04T07:51:48Z) - CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。
CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。
提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-11-30T07:29:08Z) - FILIP: Fine-grained Interactive Language-Image Pre-Training [106.19474076935363]
微粒な対話型言語-画像事前学習は、モーダルな遅延相互作用機構を通じてより細粒度なアライメントを実現する。
我々は,FILIP300Mと呼ばれる大規模画像テキストペアデータセットを構築し,事前学習を行う。
実験により、FILIPは複数の下流視覚言語タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2021-11-09T17:15:38Z) - Talk-to-Edit: Fine-Grained Facial Editing via Dialog [79.8726256912376]
Talk-to-Editは対話型顔編集フレームワークで、ユーザーとシステム間の対話を通じて微粒な属性操作を行う。
我々の重要な洞察は、GANラテント空間における連続的な「セマンティック場」をモデル化することである。
本システムは,ユーザからの要求とセマンティックフィールドの状態の両方を考慮し,言語フィードバックを生成する。
論文 参考訳（メタデータ） (2021-09-09T17:17:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。