論文の概要: Images Talk Back: Guiding MMDiTs by Suppressing Image-to-Text Feedback

• arxiv url: http://arxiv.org/abs/2610.13941v2
• Date: Mon, 12 Oct 2026 16:06:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:50.013053
• Title: Images Talk Back: Guiding MMDiTs by Suppressing Image-to-Text Feedback
• Title（参考訳）: Images Talk Back:画像からテキストへのフィードバックを抑えることでMMDiTを誘導する
• Abstract要約: We found that image-to-text (I2T) feedback can keep the objects and attribute presented in the evolution image, including error。 We motivate Semantic Feedback Guidance (SFG) which suppresss the influence of I2T feedback。
• 参考スコア（独自算出の注目度）: 16.994080417753946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal diffusion transformers (MMDiTs) allow the evolving image to update internal text representations through joint attention. These representations then guide subsequent image updates, raising a question: does this feedback help correct deviations from the prompt, or preserve them? We find that image-to-text (I2T) feedback can preserve the objects and attributes already represented in the evolving image, including errors. Transplanting I2T messages can rescue failures or disrupt successes. At matched intervention strengths, suppressing the influence of I2T feedback improves generation, whereas opposite controls degrade it. These findings motivate Semantic Feedback Guidance (SFG), which suppresses the influence of I2T feedback by guiding away from an auxiliary branch that strengthens this feedback and weakens text-to-image conditioning. The in-place variant, iSFG, directly suppresses I2T feedback and strengthens text-to-image conditioning, requiring no extra model evaluations. Temporal interventions motivate running the SFG branch during the first 20% of image sampling steps, requiring about $1.2\times$ the base NFE without classifier-free guidance (CFG). Experiments across three image-generation backbones show gains in alignment and preference-model scores. On FLUX, adding SFG to CFG raises GenEval from $0.6661$ to $0.7479$; on SD3.5M, iSFG adds $+1.33$ HPSv2.1 over CFG at zero extra NFE. The control also transfers to text-to-video and image-to-video generation, improving VBench scores. Code is available at https://github.com/yyc1215lll-creator/SFG.
• Abstract（参考訳）: マルチモーダル拡散変換器(MMDiT)は、内部のテキスト表現を共同で更新する。 このフィードバックは、プロンプトから逸脱を修正したり、保存したりするのに役立ちますか? We found that image-to-text (I2T) feedback can keep the objects and attribute presented in the evolution image, including error。 I2Tメッセージの移植は失敗を救ったり、成功を妨げたりする。 干渉強度が一致した場合、I2Tフィードバックの影響を抑えると生成が向上するが、反対の制御では劣化する。 これらの知見はセマンティック・フィードバック・ガイダンス(SFG)を動機付けており、このフィードバックを強化し、テキスト・ツー・イメージ・コンディショニングを弱める補助枝から離れることで、I2Tフィードバックの影響を抑える。 インプレース版であるiSFGは直接I2Tフィードバックを抑圧し、追加のモデル評価を必要としないテキスト・ツー・イメージ・コンディショニングを強化する。 一時的介入は、イメージサンプリングステップの最初の20%でSFGブランチの実行を動機付け、分類器フリーガイダンス(CFG)を使わずに、ベースNFEの約1.2\times$を要求する。 3つの画像生成バックボーンに対する実験は、アライメントと嗜好モデルスコアの上昇を示す。 FLUXでは、CFGにSFGを追加すると、GenEvalは0.6661$から0.7479$に上昇する。 コントロールはテキスト・ツー・ビデオや画像・ツー・ビデオ生成にも転送され、VBenchスコアが向上する。 コードはhttps://github.com/yyc1215lll-creator/SFGで入手できる。

関連論文リスト

• Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers [64.4017917917109]
  テキスト・画像生成のためのマルチモーダル拡散変換器(MMDiT)は、テキストと画像の分岐を別々に維持する。 テキスト分岐におけるプロンプト表現のセマンティクスは、深さが増加するにつれて徐々に忘れられていく。 これらの知見に触発されて、我々は、早期層から後層へのプロンプト表現をリジェクションする、トレーニング不要なアプローチを導入し、このことを忘れないようにした。
  論文  参考訳（メタデータ） (2026-02-06T17:19:53Z)
• Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
  REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。 偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。 本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T08:29:18Z)
• Rethinking Cross-Modal Interaction in Multimodal Diffusion Transformers [79.94246924019984]
  マルチモーダル拡散変換器 (MM-DiT) はテキスト駆動型視覚生成において顕著な進歩を遂げている。 マルチモーダルインタラクションを動的に再バランスするパラメータ効率向上手法である textbfTemperature-Adjusted Cross-modal Attention (TACA) を提案する。 本研究は,テキスト・画像拡散モデルにおける意味的忠実度向上における相互注意のバランスの重要性を強調した。
  論文  参考訳（メタデータ） (2025-06-09T17:54:04Z)
• NOFT: Test-Time Noise Finetune via Information Bottleneck for Highly Correlated Asset Creation [70.96827354717459]
  拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)を生成する強力なツールを提供する。 本研究では,高相関・多彩な画像を生成するため,安定拡散を用いたノイズファインチューンNOFTモジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-18T05:09:47Z)
• DICE: Distilling Classifier-Free Guidance into Text Embeddings [39.79747569096888]
  テキスト間拡散モデルは高品質な画像を生成することができるが、これらの画像は与えられたテキストプロンプトと密接に一致しないことが多い。 生成過程におけるCFGへの依存を除去する新しいアプローチであるテキスト埋め込み(DICE)を強化することで、CFGを蒸留する。 DICEは、CFGベースの方向を再現するためにテキスト埋め込みを精製することにより、CFGベースのテキスト-画像拡散モデルをCFGフリーバージョンに蒸留する。
  論文  参考訳（メタデータ） (2025-02-06T02:39:45Z)
• Rich Human Feedback for Text-to-Image Generation [27.030777546301376]
  我々は18K生成画像(RichHF-18K)のリッチなフィードバックを収集し、マルチモーダルトランスを訓練して、リッチなフィードバックを自動的に予測する。 例えば、高品質なトレーニングデータを選択して微調整し、生成モデルを改善することで、予測されたリッチな人間のフィードバックを利用して画像生成を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-12-15T22:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。