論文の概要: RefCompose: Multi-Reference Image Generation via LoRA-Conditioned Diffusion
- arxiv url: http://arxiv.org/abs/2609.32389v1
- Date: Sat, 26 Sep 2026 09:07:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 17:16:04.633008
- Title: RefCompose: Multi-Reference Image Generation via LoRA-Conditioned Diffusion
- Title(参考訳): RefCompose: LoRA-conditioned Diffusionによるマルチ参照画像生成
- Abstract要約: RefComposeはピクセル空間のコンポジションコンディショニングフレームワークである。
これは、ひとつの固定解像度参照キャンバスを通じて、EmphからEmphを分離する。
レイアウトベースと、色、テクスチャ、形状、空間精度、およびより高い参照数でのアイデンティティ/コンテンツ保存の多基準ベースラインの状態を一貫して上回る。
- 参考スコア(独自算出の注目度): 0.7922558880545528
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Filmmakers and visual artists routinely need to compose multiple references, actors, locations, props, cultural elements, into a single coherent shot, but existing tools either fail to scale past a handful of references or destroy fine grained subject identity in the process, since per reference tokenization scales memory linearly with reference count $N$ and generated content often departs from the given references rather than reproducing them. We propose \textbf{RefCompose}, a pixel space compositional conditioning framework that decouples \emph{where} things go from \emph{what} they look like, via a single fixed resolution reference canvas that keeps conditioning size constant regardless of reference count. Spatial layout is induced at inference time from a frozen diffusion transformer and extracted via Grounding DINO, requiring no LLM or dedicated layout model, while dual stream LoRA adapters inject a layout derived depth map and the encoded canvas through separate low rank streams, disentangling geometric scaffolding from localized appearance. On the Dense Layout protocol, RefCompose consistently outperforms layout based and state of the art multi reference baselines on color, texture, shape, spatial accuracy, and identity/content preservation at higher reference counts, all with constant inference memory, making it a practical building block for multi subject cinematic composition at production scale.
- Abstract(参考訳): 映画製作者やビジュアルアーティストは、複数の参照、俳優、場所、プロップ、文化的要素を単一のコヒーレントショットに組み立てる必要があるが、既存のツールは、いくつかの参照を過ぎてスケールしなかったり、プロセス内のきめ細かい被写体を破壊したりする。
これは、参照数に関係なく条件付けサイズを一定に保つ単一の固定解像度参照キャンバスを通じて、 \emph{where} を \emph{what} から切り離すピクセル空間構成条件付きフレームワークである。
空間配置は、凍結拡散変圧器から推論時に誘導され、グラウンディングDINOを介して抽出され、LLMや専用レイアウトモデルを必要としない。
Dense Layoutプロトコルでは、RefComposeはレイアウトベースと、色、テクスチャ、形状、空間精度、およびより高参照数でのアイデンティティ/コンテンツ保存における最先端のマルチリファレンスベースラインを一貫して上回る。
関連論文リスト
- MSR: Multiple Subject Reference for Video Generation [1.3680653962353777]
MSR (Multiple Subject Reference) は、LTXベースのビデオ生成のためのスロット対応条件付きスキームである。
各参照画像は、独立して静的クリップとして符号化され、別個の潜在トークングループで表現される。
この手法を低ランク適応により実装し、その結果の重みと推論を解放する。
論文 参考訳(メタデータ) (2026-09-16T09:51:50Z) - ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships [53.24877477312131]
ReBindは、組み込み参照トークンによるセマンティックインストラクションを導入する、体系的なフレームワークである。
ReBind-Instructは、視覚属性とその参照ソース間の明示的な結合を確立するための特殊なMLLMである。
また,複数の参照を協調するテキスト・ビデオ・モデルの軽量な適応を可能にするReBind-Editを開発した。
論文 参考訳(メタデータ) (2026-07-16T07:43:27Z) - UniCustom: Unified Visual Conditioning for Multi-Reference Image Generation [65.53694602893042]
VLMエンコーディングの前にVTとVAE機能を融合した統合ビジュアルコンディショニングフレームワークを提案する。
2つのマルチ参照生成ベンチマークの実験により、UniCustomは主題の一貫性、命令従順、構成の忠実さを一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-05-12T13:10:05Z) - OneRef: Unified One-tower Expression Grounding and Segmentation with Mask Referring Modeling [80.85164509232261]
モダリティ共有型1-tower変換器上に構築された最小限の参照フレームワークであるOneRefを提案する。
参照関係をモデル化するために,マスク参照モデリング(MRefM)と呼ばれる新しいMVLMパラダイムを導入する。
MRefM内では,参照型動的画像マスキング戦略を提案し,参照領域を認識した。
論文 参考訳(メタデータ) (2024-10-10T15:18:19Z) - LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。
LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
論文 参考訳(メタデータ) (2023-08-13T08:06:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。