論文の概要: Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers
- arxiv url: http://arxiv.org/abs/2603.27666v1
- Date: Sun, 29 Mar 2026 12:31:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.063566
- Title: Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers
- Title（参考訳）: マルチモーダルアテンションのないゲーテッドコンディションインジェクション:制御可能なリニアアテンショントランスを目指して
- Abstract要約: 本稿では,線形アテンションアーキテクチャ上に構築された制御可能な拡散モデルについて検討する。
本稿では,SANA などのリニアアテンションバックボーンに適した新しい制御可能な拡散フレームワークを提案する。
提案手法は,線形アテンションモデルに基づく最先端の制御可能な生成性能を実現する。
- 参考スコア（独自算出の注目度）: 69.60693631859411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in diffusion-based controllable visual generation have led to remarkable improvements in image quality. However, these powerful models are typically deployed on cloud servers due to their large computational demands, raising serious concerns about user data privacy. To enable secure and efficient on-device generation, we explore in this paper controllable diffusion models built upon linear attention architectures, which offer superior scalability and efficiency, even on edge devices. Yet, our experiments reveal that existing controllable generation frameworks, such as ControlNet and OminiControl, either lack the flexibility to support multiple heterogeneous condition types or suffer from slow convergence on such linear-attention models. To address these limitations, we propose a novel controllable diffusion framework tailored for linear attention backbones like SANA. The core of our method lies in a unified gated conditioning module working in a dual-path pipeline, which effectively integrates multi-type conditional inputs, such as spatially aligned and non-aligned cues. Extensive experiments on multiple tasks and benchmarks demonstrate that our approach achieves state-of-the-art controllable generation performance based on linear-attention models, surpassing existing methods in terms of fidelity and controllability.
- Abstract（参考訳）: 拡散に基づく制御可能な視覚生成の最近の進歩は、画像品質の顕著な改善につながっている。
しかしながら、これらの強力なモデルは通常、大きな計算要求のためにクラウドサーバーにデプロイされ、ユーザのデータプライバシに関する深刻な懸念を生じさせる。
デバイス上でのセキュアかつ効率的な生成を実現するため,線形アテンションアーキテクチャ上に構築された拡散モデルについて検討し,エッジデバイス上でも優れたスケーラビリティと効率を提供する。
しかし、我々の実験では、コントロールネットやOminiControlのような既存の制御可能な生成フレームワークには、複数の異種条件タイプをサポートする柔軟性が欠けているか、あるいはそのようなリニアアテンションモデルに対する収束が遅いことが判明した。
これらの制約に対処するため、SANAのような線形注意バックボーンに適した新しい制御可能な拡散フレームワークを提案する。
本手法のコアはデュアルパスパイプラインで動作する統一ゲート条件付けモジュールにあり,空間的整合や非整合といったマルチタイプの条件入力を効果的に統合する。
複数のタスクやベンチマークに関する大規模な実験により、線形アテンションモデルに基づく最先端の制御可能生成性能が、忠実度と可制御性の観点から既存の手法を上回ることが実証された。
関連論文リスト
- From Open Loop to Closed Loop: A Test-Time Iterative Optimization Framework for Reference-Consistent Image Generation [108.02425846269234]
制御可能な画像生成は、視覚的参照条件を組み込むことで、大きな進歩を遂げた。
既存の方法は、主にオープンループシステムとして動作する。
本稿では,閉ループ動的トラッキング問題として参照一貫性生成を再構成する新しいテスト時間反復最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-06T05:36:30Z) - Drift Flow Matching [69.16550765154163]
ドリフトフローマッチング(Drift Flow Matching)は,ドリフト生成モデルとフローベース反復生成を結びつけるフレームワークである。
DFMは直接輸送マップの効率を保ちつつ、複数の推論ステップを通じて生成を洗練させる。
論文 参考訳（メタデータ） (2026-05-17T03:58:01Z) - ScaleWeaver: Weaving Efficient Controllable T2I Generation with Multi-Scale Reference Attention [86.93601565563954]
ScaleWeaverは、高度な視覚的自己回帰(VAR)モデルに基づいて、高忠実で制御可能な生成を実現するために設計されたフレームワークである。
提案された参照注意モジュールは image$rightarrow$condition から不要な注意を排除し、計算コストを削減している。
実験によると、ScaleWeaverは、拡散ベースの方法よりも優れた効率を実現しつつ、高品質な生成と正確な制御を提供する。
論文 参考訳（メタデータ） (2025-10-16T17:00:59Z) - JointDiff: Bridging Continuous and Discrete in Multi-Agent Trajectory Generation [75.58351043849385]
生成モデルは、しばしば連続したデータと離散的なイベントを別々のプロセスとして扱う。
このギャップを埋めるために、連続時間データと同期離散イベントを同時に生成してこれらの2つのプロセス間の相互作用を設計した新しい拡散フレームワークであるJointDiffを導入する。
JointDiffは最先端のパフォーマンスを実現し、インタラクティブシステムのための現実的で制御可能なモデルを構築するために、ジョイントモデリングが不可欠であることを実証している。
論文 参考訳（メタデータ） (2025-09-26T16:04:00Z) - SCALAR: Scale-wise Controllable Visual Autoregressive Learning [15.775596699630633]
視覚自己回帰(VAR)に基づく制御可能な生成法であるSCALARを提案する。
予め訓練された画像エンコーダを用いて意味制御信号の符号化を抽出し,VARバックボーンの対応する層に注入する。
SCALAR上に構築したSCALAR-Uniは,複数の制御モダリティを共有潜在空間に整合させる統合拡張であり,単一のモデルで柔軟なマルチ条件ガイダンスをサポートする。
論文 参考訳（メタデータ） (2025-07-26T13:23:08Z) - A Practical Investigation of Spatially-Controlled Image Generation with Transformers [23.373853892284227]
我々は空間的に制御された生成のための生成パラダイムをまたいだ明確なテイクアウトを提供することを目指している。
拡散型/フロー型および自己回帰型(AR)モデルにまたがって、ImageNet上で実験を行う。
我々は、アダプタベースのアプローチのモチベーションを再解明し、限られた下流データでトレーニングされた場合、それらが"鍛造"を緩和し、生成品質を維持することを実証した。
論文 参考訳（メタデータ） (2025-07-21T15:33:49Z) - Controllable Motion Generation via Diffusion Modal Coupling [19.534234002173314]
マルチモーダルな事前分布を利用して拡散モデルの制御性を向上する新しいフレームワークを提案する。
Maze2D環境におけるデータセットとマルチタスク制御を用いた動作予測手法の評価を行った。
論文 参考訳（メタデータ） (2025-03-04T07:22:34Z) - CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。
CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。
提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
論文 参考訳（メタデータ） (2024-10-07T00:55:42Z) - ControlVAR: Exploring Controllable Visual Autoregressive Modeling [48.66209303617063]
拡散モデル(DM)の出現により、条件付き視覚発生は顕著に進展した。
高価な計算コスト、高い推論遅延、大規模言語モデル(LLM)との統合の難しさといった課題は、DMに代わる方法を模索する必要がある。
本稿では,フレキシブルかつ効率的な条件生成のための視覚自己回帰モデリングにおける画素レベル制御を探求する新しいフレームワークであるControlmoreを紹介する。
論文 参考訳（メタデータ） (2024-06-14T06:35:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。