論文の概要: Functional Cross-layer Experts Routing for One-step Diffusion Distillation

• arxiv url: http://arxiv.org/abs/2610.25742v1
• Date: Mon, 19 Oct 2026 03:46:29 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:30:26.48335
• Title: Functional Cross-layer Experts Routing for One-step Diffusion Distillation
• Title（参考訳）: 一段階拡散蒸留のための機能的クロスレイヤーエキスパートのルーティング
• Abstract要約: DeMoEは、イメージFFN間で条件付きルーティングされたエキスパートスライスと、永続的な共有専門家をペアリングする。 1ステップのFLUX.2-4B では、DeMoE は GenEval のスコア 0.8220 を獲得し、画像-FFN の幅の 80.5% しか活性化しない。 COCO-10K全体で、DeMoEは最先端の忠実さと単一ステップモデル間の多様性を確立している。
• 参考スコア（独自算出の注目度）: 48.005521427284584
• License:
• Abstract: One-step distillation compresses diffusion trajectories into a single forward evaluation, yet how internal capacity should be structured within that remaining pass remains largely unexplored. In this setting, identical parameters must simultaneously preserve general generative priors and resolve prompt-specific details without iterative refinement. We formalize this challenge as functional allocation. Our analysis reveals that decoupling representations is beneficial only when expert interference outweighs shared transfer, favoring an always-active shared backbone augmented with conditionally routed residuals over standard isolated MoE architectures. We propose DeMoE, which pairs a persistent shared expert with conditionally routed expert slices across image FFNs, trained under a one-step distribution-matching objective with executed-route supervision. On one-step FLUX.2-4B generation, DeMoE achieves a GenEval score of 0.8220 while activating only 80.5% of the image-FFN width, substantially outperforming dense one-step baselines, matching the 50-step teacher overall, and surpassing it on complex composition and counting. Across COCO-10K, DeMoE establishes state-of-the-art fidelity and diversity among single-step models, demonstrating that structured internal computation reallocation provides a superior compression paradigm for diffusion models. Code is available at https://github.com/toffeecat/demoe-ttt-router.
• Abstract（参考訳）: 1段階の蒸留は拡散軌道を1つの前方評価に圧縮するが、残りのパスの内部容量がどのように構成されるべきかは未解明のままである。 この設定では、同一のパラメータは、一般的な生成前兆を同時に保存し、反復的洗練なしにプロンプト固有の詳細を解決しなければなりません。 我々はこの課題を機能割り当てとして定式化する。 解析の結果,分散表現は専門家の干渉が共有転送を上回る場合にのみ有用であることが判明し,標準孤立MoEアーキテクチャよりも条件付きルーティング残基を付加した常時アクティブな共有バックボーンが望ましいことがわかった。 DeMoE は画像 FFN 間で条件付きルーティングされたエキスパートスライスを永続的に共有する専門家と組み合わせて,一段階の分散マッチング目標と実行経路の監視を訓練する。 1ステップのFLUX.2-4B世代では、DeMoEは、イメージ-FFNの幅の80.5%しか活性化せず、50ステップの教師を総じて上回り、複雑な構成と計数に勝っている。 COCO-10K全体にわたって、DeMoEは単一ステップモデル間の最先端の忠実さと多様性を確立し、構造化された内部計算再配置が拡散モデルに対して優れた圧縮パラダイムを提供することを示した。 コードはhttps://github.com/toffeecat/demoe-ttt-routerで入手できる。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• It Takes a MAESTRO To Prune Bad Experts [23.29849824707685]
  スパースアクティベートされたMixture-of-Experts (MoE) 言語モデルはトークン当たりのパラメータをわずかに活性化することで、顕著な推論効率を達成する。 既存の構造化プルーニング法は、主に高密度変圧器用に設計されており、MoEルーティングの相互依存性に欠ける局所的導出を用いて、専門家の重要度を評価する。 自動回帰エキスパートアクティベーショントラジェクトリをモデル化するMOEアーキテクチャ用に設計された構造化プルーニングフレームワークであるMAESTROを紹介する。
  論文  参考訳（メタデータ） (2026-07-09T15:32:54Z)
• CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
  実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。 我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。 1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
  論文  参考訳（メタデータ） (2026-06-20T10:33:14Z)
• DOT-MoE: Differentiable Optimal Transport for MoEfication [11.183649354845885]
  DOT-MoEは、高密度層の分解を微分可能な最適輸送問題として定式化する新しいフレームワークである。 我々は,DOT-MoEが構造化プルーニング,クラスタリング,ランダムスプリットベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2026-06-01T04:19:16Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Symphony-MoE: Harmonizing Disparate Pre-trained Models into a Coherent Mixture-of-Experts [18.18231276284727]
  Mixture-of-Experts (MoE)モデルは、大きなパラメータセットをわずかに活性化することにより、スケーラブルなパフォーマンスを実現する。 近年の作業では、フィードフォワードネットワーク(FFN)層を専門家に複製することで、トレーニング済みの高密度モデル1つを再利用している。 本稿では、複数の同一構造を持つ異なる事前学習モデルから得られたエキスパートを用いて、強力なMoEモデルを構築することにより、この制限に対処する。
  論文  参考訳（メタデータ） (2025-09-23T02:07:14Z)
• One-Step Offline Distillation of Diffusion-based Models via Koopman Modeling [26.913398550088477]
  クープマン蒸留モデル(Koopman Distillation Model, KDM)は, クープマン理論に基づく新しいオフライン蒸留手法である。 KDMは、学習された線形作用素がそれらを前方に伝播する埋め込み空間にノイズのある入力を符号化し、続いてクリーンなサンプルを再構成するデコーダを符号化する。 KDMは標準のオフライン蒸留ベンチマークで高い競争力を発揮する。
  論文  参考訳（メタデータ） (2025-05-19T16:59:47Z)
• DiffMoE: Dynamic Token Selection for Scalable Diffusion Transformers [86.5541501589166]
  DiffMoEはバッチレベルのグローバルトークンプールで、トレーニング中に専門家がグローバルトークンの配布にアクセスできるようにする。 ImageNetベンチマークの拡散モデル間での最先端のパフォーマンスを実現する。 このアプローチの有効性は、クラス条件生成を超えて、テキスト・ツー・イメージ生成のようなより困難なタスクにも及んでいる。
  論文  参考訳（メタデータ） (2025-03-18T17:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。