論文の概要: SAGE: Subspace Alignment for Classifier-Free Guidance in Mixture-of-Experts Diffusion Models

• arxiv url: http://arxiv.org/abs/2609.34525v1
• Date: Mon, 28 Sep 2026 07:59:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:45:51.437469
• Title: SAGE: Subspace Alignment for Classifier-Free Guidance in Mixture-of-Experts Diffusion Models
• Title（参考訳）: SAGE:Mixture-of-Experts Diffusion Modelにおける分類自由誘導のための部分空間アライメント
• Abstract要約: 拡散自由誘導(CFG)は生成品質に不可欠であるが、過度に高い誘導スケールは崩壊を引き起こす。 SAGEは、非条件のMoEアクティベーションを、ルーティングの多様性を制限することなく条件のサブ空間に整列する訓練時正規化器である。 実験によると、SAGEは極度のドリフトを9.2倍に劇的に抑制する。
• 参考スコア（独自算出の注目度）: 29.533002987103227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Transformers with Mixture-of-Experts (MoE) routing are a leading recipe for scaling generative models. Classifier-Free Guidance (CFG) is essential for generation quality, yet excessively high guidance scales trigger collapse. We identify a previously unreported failure mode in their combination: the two CFG branches route independently, so their realized activations occupy different subspaces. The unconditional write then leaves the conditional subspace, and CFG amplifies that residual linearly in the guidance scale. We propose SAGE, a training-time regularizer that aligns unconditional MoE activations to the conditional subspace without restricting routing diversity, at zero inference cost. Toy experiments show that SAGE dramatically suppresses extreme drift by 9.2x. When scaled to a 1B-parameter text-to-image model, SAGE significantly improves generation quality, delivering a 9.3% boost in peak DPG-Bench performance. Extensive experiments demonstrate that SAGE consistently outperforms the baseline.
• Abstract（参考訳）: Mixture-of-Experts (MoE)ルーティングを備えた拡散トランスフォーマーは、生成モデルをスケーリングするための主要なレシピである。 分類自由誘導(CFG)は生成品質に不可欠であるが、過度に高いガイダンス尺度は崩壊を引き起こす。 2つのCFGブランチは独立してルートするので、実行時に異なるサブスペースを占有する。 非条件書き込みはその後条件部分空間を離れ、CFGは誘導スケールでそのリニアを線形に増幅する。 本研究では,条件付きMoEアクティベーションを条件付きサブ空間に整列する学習時間正規化器であるSAGEを提案する。 トイ実験により、SAGEは極端なドリフトを9.2倍に劇的に抑制することが示された。 1Bパラメータのテキスト・ツー・イメージモデルにスケールすると、SAGEは生成品質を大幅に向上し、DPG-Benchのピーク性能は9.3%向上した。 大規模な実験は、SAGEがベースラインを一貫して上回ることを示した。

関連論文リスト

• SteeringDiffusion: A Bottlenecked Activation Control Interface for Diffusion Models [1.9336815376402718]
  SteeringDiffusionは、拡散モデルのためのボトルネック化されたアクティベーションレベル制御インターフェースである。 ゼロアワード設計は、ゼロスケールでのベースモデルへの正確な同値性を保証する。 安定拡散1.5およびSDXLに関する実験を通じて、ステアリング拡散は滑らかで単調なコンテンツスタイルのトレードオフを生成することを示した。
  論文  参考訳（メタデータ） (2026-05-03T00:29:10Z)
• Guiding a Diffusion Model by Swapping Its Tokens [16.588428780117752]
  本研究では,条件生成と非条件生成の両方に対して,CFGライクなガイダンスを実現するための簡単な手法を提案する。 鍵となるアイデアは、単純なトークンスワップ操作によって混乱した予測を生成することである。 提案手法はトークン潜伏剤を選択的に交換し,分解し,摂動の制御をきめ細かなものにする。
  論文  参考訳（メタデータ） (2026-04-09T09:54:49Z)
• EMAG: Self-Rectifying Diffusion Sampling with Exponential Moving Average Guidance [31.550239698285058]
  拡散および流れマッチング生成モデルでは、サンプルの品質と一貫性を改善するためにガイダンス技術が広く用いられている。 最近の研究では、より弱いモデルを用いた推論における負のサンプルの対比について検討している。 本研究では,拡散変圧器における推定時間における注意を変調するトレーニング不要なメカニズムである,指数移動平均誘導(EMAG)を提案する。
  論文  参考訳（メタデータ） (2025-12-19T07:36:07Z)
• DiffusionDriveV2: Reinforcement Learning-Constrained Truncated Diffusion Modeling in End-to-End Autonomous Driving [65.7087560656003]
  エンドツーエンドの自動運転のための生成拡散モデルは、しばしばモード崩壊に悩まされる。 強化学習を利用して低品質モードを制約し,優れた軌道探索を行うDiffusionDriveV2を提案する。 これにより、そのコアであるガウス混合モデル固有の多重モード性を維持しながら、全体的な出力品質が大幅に向上する。
  論文  参考訳（メタデータ） (2025-12-08T17:29:52Z)
• DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
  Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。 DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
  論文  参考訳（メタデータ） (2025-09-19T16:09:33Z)
• Decoupled Classifier-Free Guidance for Counterfactual Diffusion Models [14.792134583650787]
  CFGはすべての属性に対してグローバルなガイダンス尺度を定めており、推論されたカウンターファクトの大幅な変更につながっている。 本稿では,因果グラフに従う属性ワイズ制御を可能にする,フレキシブルでモデルに依存しないガイダンス手法であるDecoupled-Free Guidance (DCFG)を提案する。
  論文  参考訳（メタデータ） (2025-06-17T10:56:09Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Few-Step Diffusion via Score identity Distillation [67.07985339442703]
  拡散蒸留は, テキスト・ツー・イメージ(T2I)拡散モデルを促進するための有望な戦略として浮上している。 既存の方法は、高分解能T2I拡散モデルを蒸留する際に、実像や教師合成画像に頼っている。 教師のCFGを無効にし、偽スコアネットワークでテキストコンディショニングを除去するZero-CFGと、偽スコアネットワークで否定的なCFGを適用するAnti-CFGの2つの新しいガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-19T03:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。