論文の概要: In-Loop Model Adaptation with Coupled Latent-Noise Guidance for High-Fidelity Subject-Driven Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2608.09244v1
• Date: Mon, 10 Aug 2026 08:07:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.137323
• Title: In-Loop Model Adaptation with Coupled Latent-Noise Guidance for High-Fidelity Subject-Driven Text-to-Image Generation
• Title（参考訳）: 高忠実度主観駆動型テキスト・画像生成のための結合潜在雑音誘導を用いたループ内モデル適応
• Authors: Yushun Tang, Weiming Chen, Siyi Liu, Yi Zhang, Feng Wu, Zhihai He,
• Abstract要約: We propose a new approach for subject-driven text-to-image generation called textitIn-Loop Model Adaptation (IMA)。 IMAは、画像生成の実際のプロセスにおいて、生成プロセスの前に参照画像にトレーニングされることなく、各生成ステップでコア拡散モデルを適用する。 実験の結果,提案手法は主観駆動型テキスト・画像生成の性能を著しく向上させることがわかった。
• 参考スコア（独自算出の注目度）: 43.97733750301509
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image diffusion models have achieved remarkable success in generating high-quality images from a given text prompt. Subject-driven generation aims to synthesize customized images to mimic the appearance of subjects in given reference images within different visual contexts specified by the text prompts. The central challenge here is that, when the reference image changes, the diffusion model cannot efficiently adapt to different visual contexts while consistently maintaining the subject identity. Existing methods either train the model with a large domain-specific dataset or fine-tune the model using the reference image for hundreds of iterations before actual image generation. In this work, we explore a new approach, called \textit{In-Loop Model Adaptation} (IMA), which adapts the core diffusion model at each generation step during the actual process of image generation, without being trained on the reference image before the generation process. To this end, we establish a DDIM inversion chain that maps the reference image to a sequence of latent, as well as a text-to-image generation chain which generates the image from the text prompt only. We then introduce a masked latent consistency loss and a noise regularization loss to characterize the latent-noise difference between the diffusion model and these two chains at each generation step. This coupled latent-noise loss is used to guide the in-loop model adaptation to preserve the subject identity specified by the reference image while maintaining accurate alignment with the text prompt, resulting in high-fidelity text-to-image generation. Our extensive experiments demonstrate that our proposed IMA method significantly improves the performance of subject-driven text-to-image generation.
• Abstract（参考訳）: テキスト間拡散モデルは、与えられたテキストプロンプトから高品質な画像を生成することに成功している。 対象駆動生成は、テキストプロンプトによって指定された異なる視覚的文脈において、与えられた参照画像の被写体を模倣するためにカスタマイズされた画像を合成することを目的としている。 ここでの課題は、参照画像が変化すると、拡散モデルは被写体アイデンティティを一貫して維持しながら、異なる視覚的コンテキストに効率的に適応できないことである。 既存の方法は、大きなドメイン固有のデータセットでモデルをトレーニングするか、あるいは実際の画像を生成する前に、数百回のイテレーションで参照イメージを使用してモデルを微調整する。 そこで本研究では,画像生成の実際のプロセスにおいて,参照画像のトレーニングを受けることなく,各生成ステップにおけるコア拡散モデルを適応させる「textit{In-Loop Model Adaptation} (IMA)」という手法を提案する。 そこで本研究では,参照画像を潜伏者の列にマッピングするDDIMインバージョンチェーンと,テキストプロンプトからのみ画像を生成するテキスト・ツー・イメージ生成チェーンを確立する。 次に,各生成段階における拡散モデルとこれら2つの連鎖の潜時雑音差を特徴付けるために,マスク付き潜時整合損失と雑音正規化損失を導入する。 この結合された潜在雑音損失は、ループ内モデル適応を誘導し、テキストプロンプトとの正確な整合を維持しながら、参照画像によって特定された被写体アイデンティティを保存することにより、高忠実なテキスト・ツー・イメージ生成を実現する。 大規模な実験により,提案手法は主観駆動型テキスト・画像生成の性能を大幅に向上させることが示された。

関連論文リスト

• EDITOR: Effective and Interpretable Prompt Inversion for Text-to-Image Diffusion Models [41.63451923844824]
  本稿では,テキストから画像への拡散モデルに対するsysと呼ばれるプロンプトインバージョン手法を提案する。 本手法は,画像の類似性,テキストのアライメント,解釈可能性,一般化可能性の観点から,既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2025-06-03T16:44:15Z)
• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• Improving Compositional Text-to-image Generation with Large Vision-Language Models [26.202725136839632]
  合成テキスト画像モデルは、入力テキストと整合した高品質な画像を生成するのにしばしば困難に直面する。 生成した画像と対応する入力テキストのアライメントの多次元評価には,大規模視覚言語モデル(LVLM)を用いる。 提案手法は,合成画像生成におけるテキスト画像のアライメントを大幅に改善することを確認した。
  論文  参考訳（メタデータ） (2023-10-10T05:09:05Z)
• Energy-Based Cross Attention for Bayesian Context Update in Text-to-Image Diffusion Models [62.603753097900466]
  本稿では,文脈ベクトルの後部をモデル化し,適応的文脈制御のための新しいエネルギーベースモデル(EBM)を提案する。 具体的には、まず遅延画像表現とテキスト埋め込みのESMをデノナイズドオートエンコーダの各クロスアテンション層に定式化する。 我々の潜在ESMは、異なるコンテキストからの相互注意出力の線形結合として、ゼロショット合成を可能としています。
  論文  参考訳（メタデータ） (2023-06-16T14:30:41Z)
• RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [112.45442468794658]
  本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。 粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。 微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
  論文  参考訳（メタデータ） (2023-05-31T06:59:21Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。