論文の概要: Vision-Language Binding in In-Context Image Generation

• arxiv url: http://arxiv.org/abs/2605.24624v1
• Date: Sat, 23 May 2026 15:30:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.279991
• Title: Vision-Language Binding in In-Context Image Generation
• Title（参考訳）: インコンテキスト画像生成における視覚-言語結合
• Authors: Chris Ge, Rohit Gandikota, Antonio Torralba, Tamar Rott Shaham,
• Abstract要約: FLUX.2のようなコンテキスト内画像生成モデルは、テキストプロンプトとオプション参照イメージを出力の視覚的条件付けとして取り込む。 テキストトークンと参照画像の間に暗黙的なクロスモーダルバインディングが現れることを示す。 さらに、テキストシーケンスのパディングトークンへの参照テキストバインディングをローカライズする。
• 参考スコア（独自算出の注目度）: 34.419605761529404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context image generation models such as FLUX.2 take a text prompt and an optional reference image as visual conditioning for the output. Internally, all three inputs -- text, reference image, and the noise tokens -- are concatenated and processed through a single attention stream, where all tokens can attend to one another. This leaves open how reference information flows through the model to produce the output image. We show that an implicit cross-modal binding emerges between the text tokens and the reference image: the text tokens absorb visual reference content during the forward pass, and that absorbed content causally influences the generated output. We surface this binding with three causal interventions on FLUX.2: T2I Lens, which decodes intermediate text-token activations through a text-to-image path; Attention Knockout, which severs specific attention edges; and I2I-to-I2I Patching, which copies text token activations between editing runs. Across 2,875 editing tasks on various images, including SUN397 and DreamBench++ datasets and images collected online, we observe a consistent division of labor: properties of the reference image, like color, style, and scene setting, are first written into the text tokens, which carry them to the generated image; pixel-exact properties like a specific face or instance identity bypass the text tokens and flow directly from reference to image through image-to-image attention. We further localize the reference-text binding to the padding tokens of the text sequence. These results show that text tokens in a multimodal DiT are not just prompt holders, but a structured channel for reference image content. More broadly, they suggest that even in unified-attention multimodal generative models, token modality structures how conditioning information is represented and routed across the network.
• Abstract（参考訳）: FLUX.2のようなコンテキスト内画像生成モデルは、テキストプロンプトとオプション参照イメージを出力の視覚的条件付けとして取り込む。 内部的には、テキスト、参照画像、ノイズトークンの3つの入力はすべて、単一のアテンションストリームを通じて結合され、処理される。 これにより、参照情報がモデルを通してどのように流れて出力画像を生成するかが明らかになる。 テキストトークンはフォワードパス中に視覚的参照内容を吸収し、吸収されたコンテンツが生成した出力に因果的に影響を及ぼすことを示す。 FLUX.2には3つの因果的介入がある: T2I Lensはテキスト・ツー・イメージ・パスを通じて中間テキスト・ツー・イメージのアクティベーションをデコードする; Attention Knockoutは特定のアテンションエッジを分離する; I2I-to-I2I Patchingは編集実行中にテキストトークンのアクティベーションをコピーする。 SUN397やDreamBench++などのさまざまな画像上の2,875件の編集タスクを網羅して、オンラインで収集したDreamBench++データセットやイメージを含む、一貫した作業の分割を観察する。例えば、色、スタイル、シーン設定といった参照イメージのプロパティが、まずテキストトークンに書き込まれ、生成された画像に転送される。 さらに、テキストシーケンスのパディングトークンへの参照テキストバインディングをローカライズする。 これらの結果は、マルチモーダルDiTのテキストトークンは単にプロンプトホルダーではなく、参照画像コンテンツのための構造化チャネルであることを示している。 より広義には、統合アテンション・マルチモーダル生成モデルにおいても、トークンのモダリティは、コンディショニング情報の表現とネットワーク横断のルーティングの方法を構成することを示唆している。

関連論文リスト

• Follow the Flow: On Information Flow Across Textual Tokens in Text-to-Image Models [35.85433370296494]
  テキスト・ツー・イメージ・モデルにおいて,意味情報をトークン表現に分散させる方法について検討する。 情報は通常、アイテムのトークンの1つか2つだけに集中している。 場合によっては、アイテムはお互いの表現に影響を与え、しばしば誤解を招く。
  論文  参考訳（メタデータ） (2025-04-01T19:17:44Z)
• Padding Tone: A Mechanistic Analysis of Padding Tokens in T2I Models [64.52046218688295]
  テキスト・ツー・イメージ(T2I)拡散モデルは、画像生成プロセスのガイドとなるエンコードプロンプトに依存している。 我々は,T2Iモデルにおいてパディングトークンが果たす役割の詳細な分析を行う。 テキストエンコーディング中、拡散過程中、または効果的に無視される場合、パディングトークンがモデルの出力に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2025-01-12T08:36:38Z)
• Object-Attribute Binding in Text-to-Image Generation: Evaluation and Control [58.37323932401379]
  現在の拡散モデルは、入力としてテキストプロンプトが与えられたイメージを生成するが、テキストで言及されている属性を画像の正しいオブジェクトに正しく結び付けるのに苦労する。 入力文中の構文的制約により視覚的注意マップを制御できる集中的横断注意(FCA)を提案する。 我々は、T2I生成の大幅な改善、特にいくつかのデータセットに対する属性オブジェクトのバインディングを示す。
  論文  参考訳（メタデータ） (2024-04-21T20:26:46Z)
• Knowledge-Enhanced Dual-stream Zero-shot Composed Image Retrieval [53.89454443114146]
  本研究では,ゼロショット合成画像検索タスク(ZS-CIR)について検討した。 従来の作品では、参照画像の特徴をテキスト埋め込み空間に投影することで、擬似ワードトークンを生成する。 知識強化型デュアルストリームゼロショット合成画像検索フレームワーク(KEDs)を提案する。 KEDはデータベースを組み込むことで、参照画像の属性を暗黙的にモデル化する。
  論文  参考訳（メタデータ） (2024-03-24T04:23:56Z)
• Compositional Text-to-Image Synthesis with Attention Map Control of Diffusion Models [8.250234707160793]
  近年のテキスト・ツー・イメージ(T2I)拡散モデルでは,テキスト・プロンプトを条件とした高品質な画像の生成に優れた性能を示す。 コンポジション機能に制限があるため、生成したイメージとプロンプトを意味的にアライメントすることができない。 本稿では,これらの問題に対処するために,予測オブジェクトボックスに基づく新しいアテンションマスク制御手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T10:49:22Z)
• Character-Centric Story Visualization via Visual Planning and Token Alignment [53.44760407148918]
  ストーリービジュアライゼーションは、完全なストーリーに基づいた複数の画像生成を可能にすることによって、従来のテキスト・画像生成を前進させる。 一貫性のあるストーリービジュアライゼーションの主な課題は、ストーリーに不可欠な文字を保存することです。 本稿では,Vector-Quantized Variational Autoencoderをテキスト・tovisual-tokenアーキテクチャで拡張する最近の研究に適応することを提案する。
  論文  参考訳（メタデータ） (2022-10-16T06:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。