論文の概要: ControlRef: Efficient Layout-Guided Multi-Instance Generation via Anchored 4D-RoPE
- arxiv url: http://arxiv.org/abs/2608.06878v1
- Date: Fri, 07 Aug 2026 07:05:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.383509
- Title: ControlRef: Efficient Layout-Guided Multi-Instance Generation via Anchored 4D-RoPE
- Title（参考訳）: ControlRef: Anchored 4D-RoPEによる効率的なレイアウトガイド型マルチインスタンス生成
- Abstract要約: ControlRefは、非常に効率的で正確なマルチインスタンス合成フレームワークである。
トークンを絶対中心に固定することで、Anchored 4D-RoPEは空間的先行を保ち、空間的周波の妥協を損失なく緩和する。
実験によると、ControlRefは最先端の視覚的忠実度とローカライズ精度を達成しつつ、スパースレイアウトでは推論遅延を80%以上削減し、密集したシナリオではメモリオーバーヘッドを50%削減する。
- 参考スコア（独自算出の注目度）: 10.898678444234916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Layout-guided multi-instance generation is essential for controllable image synthesis in Multi-Modal Diffusion Transformers (MM-DiTs). However, integrating this capability into unified architectures remains challenging. Prior frameworks rely on redundant full-resolution canvas padding and Shifted-RoPE to manage multiple reference images. This mechanism drastically inflates computational overhead for sparse layouts and disrupts critical low-frequency RoPE features, creating a severe spatial-frequency compromise that blurs absolute spatial correspondence. To overcome these limitations, we propose ControlRef, a highly efficient and precise multi-instance synthesis framework. ControlRef utilizes a Unified Instance-Layout Control (UILC) attention mask to strictly decouple inter-instance semantic interactions and enforce precise regional binding. To further promote region-level spatial alignment, we introduce Anchored 4D-RoPE, a novel positional encoding mechanism that directly anchors tokens to their absolute geometric centers. By pre-aligning reference images to their corresponding bounding box resolutions, physically anchoring both layout and reference tokens to their absolute geometric centers, and stacking the references along the z-axis, Anchored 4D-RoPE natively preserves spatial priors and mitigates the spatial-frequency compromise without lossy shifting. Extensive experiments demonstrate that ControlRef achieves state-of-the-art visual fidelity and localization accuracy, while concurrently slashing inference latency by over 80% in sparse layouts and reducing memory overhead by 50% in dense scenarios.
- Abstract（参考訳）: マルチモード拡散変換器(MM-DiTs)の制御可能な画像合成には,レイアウト誘導型マルチインスタンス生成が不可欠である。
しかし、この機能を統一アーキテクチャに統合することは依然として困難である。
以前のフレームワークは、複数の参照イメージを管理するために、冗長なフル解像度のキャンバスパディングとShifted-RoPEに依存していた。
この機構は、スパースレイアウトの計算オーバーヘッドを劇的に膨らませ、重要な低周波RoPE特徴を乱し、絶対的な空間対応を曖昧にする深刻な空間周波数妥協を生み出す。
これらの制限を克服するために,高効率かつ高精度なマルチインスタンス合成フレームワークであるControlRefを提案する。
ControlRefは、Unified Instance-Layout Control (UILC) のアテンションマスクを使用して、インスタンス間セマンティックインタラクションを厳密に分離し、正確な局所的バインディングを強制する。
領域レベルの空間アライメントをさらに促進するために,トークンを絶対的幾何学中心に直接固定する新しい位置符号化機構であるAnchored 4D-RoPEを導入する。
基準画像を対応する境界ボックス解像度に事前調整し、レイアウトと参照トークンの両方を絶対的幾何学中心に物理的に固定し、z軸に沿って参照を積み重ねることで、Anchored 4D-RoPEは空間的先行をネイティブに保存し、空間的周波妥協を損失なく緩和する。
大規模な実験では、ControlRefは最先端の視覚的忠実度とローカライゼーションの精度を達成しつつ、推論遅延をスパースレイアウトで80%以上削減し、高密度シナリオではメモリオーバーヘッドを50%削減する。
関連論文リスト
- DPSF-Net: A Dual-Prior Spatial-Frequency Network for Real-World Remote Sensing Image Dehazing [1.0096416727161845]
実世界のRSIDのためのMCAF-Net上に構築された2重プリア空間周波数ネットワークDPSF-Netを提案する。
ネットワークは、ぼんやりしたRGBイメージとダークチャネル事前(DCP)マップをジョイント入力として使用し、物理的劣化の手がかりにより、エンドツーエンドの機能学習をガイドする。
実験により、DPSF-Netは現実世界のRRSHIDリモートセンシング画像デハージングベンチマークで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2026-09-07T03:00:10Z) - One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting [51.09550363815034]
シーンテキストスポッティングはテキスト認識と空間的局所化の間に高精度なアライメントを必要とする。
本研究では,個々のテキストインスタンスを単一のアンカー視覚トークンでルーティングする視覚中心のフレームワークであるSingle-Patch Text Spotting (SPaTS)を提案する。
SPaTS はフロンティアのクローズドソースMLLM と OCR MLLM の両方で一貫した性能を示し,その性能を著しく向上させる。
論文 参考訳（メタデータ） (2026-07-30T09:17:48Z) - Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。
深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。
Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
論文 参考訳（メタデータ） (2026-07-10T06:52:09Z) - FDR-Occ: Factorized Dense Routing for Full-Spectrum 3D Occupancy Prediction [63.738631229597274]
視覚に基づく3次元占有予測は、基本的に2次元から3次元のビュー変換に依存している。
現在のパラダイムは、厳密でスパースなカメラ線にルーティング行列を人工的に制限する明示的な物理射影を主に利用している。
本稿では,このボトルネックを解消するためにFDR(Facterized Dense Routing)を提案する。
本フレームワークは,Occ3D-nuScenesおよびOcc3D-Waymoベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2026-07-04T11:12:42Z) - HyperDiT: Hyper-Connected Transformers for High-Fidelity Pixel-Space Diffusion [19.942149487828946]
HyperDiTはHyper-Connected Cross-Scale Interactionsを確立する統一フレームワークである。
細粒度ストリームとセマンティックガイダンスを組み合わせることで、HyperDiTは高忠実度画素生成に優れたパラダイムを提供する。
論文 参考訳（メタデータ） (2026-05-15T08:51:55Z) - U-HNO: A U-shaped Hybrid Neural Operator with Sparse-Point Adaptive Routing for Non-stationary PDE Dynamics [7.23685260715089]
中心設計はスパースポイント適応ルーティング(SPAR)であるU字型ハイブリッドニューラル演算子U-HNOを提案する。
SPARは階層的なエンコーダ・ブートネック・デコーダのバックボーンに埋め込まれており、スキップ接続により両分岐とゲートが全ての解像度で動作する。
U-HNOは、相対的なL2とH1メトリクスの両方のタスクの大多数において、最先端のロールアウト精度を達成する。
論文 参考訳（メタデータ） (2026-05-13T04:00:43Z) - Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。
分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。
本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
論文 参考訳（メタデータ） (2026-02-06T16:39:10Z) - TP-Blend: Textual-Prompt Attention Pairing for Precise Object-Style Blending in Diffusion Models [38.230816384102674]
TP-Blendは2つの異なるテキストプロンプトを受け取る軽量なトレーニングフリーフレームワークである。
TP-Blendは2つの補完的なアテンションプロセッサによって駆動される。
実験により、TP-Blendは内容と外観の両方を正確に制御し、高解像度でリアルな編集を行うことが示された。
論文 参考訳（メタデータ） (2026-01-12T21:30:10Z) - Scale-DiT: Ultra-High-Resolution Image Generation with Hierarchical Local Attention [50.391914489898774]
Scale-DiTは、階層的な局所的注意を低解像度のグローバルガイダンスで導入する新しい拡散フレームワークである。
軽量なLoRA適応は、デノナイズ中のグローバルパスとローカルパスをブリッジし、構造と詳細の整合性を確保する。
実験によると、Scale-DiTは2ドル以上の高速な推論とメモリ使用量の削減を実現している。
論文 参考訳（メタデータ） (2025-10-18T03:15:26Z) - RelayFormer: A Unified Local-Global Attention Framework for Scalable Image and Video Manipulation Localization [50.75654397516163]
様々な解像度とモダリティに対応する統一フレームワークであるRelayFormerを提案する。
RelayFormerは、入力を固定サイズのサブイメージに分割し、Global-Local Relay(GLR)トークンを導入する。
これにより、セマンティックや時間的一貫性などのグローバルなキューを効率よく交換でき、きめ細かいアーティファクトを保存できる。
論文 参考訳（メタデータ） (2025-08-13T03:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。