Fugu-MT 論文翻訳(概要): MoECa: Aligning Feature Reuse with Expert Decomposition in Diffusion Transformers

論文の概要: MoECa: Aligning Feature Reuse with Expert Decomposition in Diffusion Transformers

arxiv url: http://arxiv.org/abs/2606.15615v1
Date: Sun, 14 Jun 2026 05:54:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 16:21:33.755927
Title: MoECa: Aligning Feature Reuse with Expert Decomposition in Diffusion Transformers
Title（参考訳）: MoECa: 拡散変換器のエキスパート分解による機能再利用
Abstract要約: MoECaは細かいキャッシングフレームワークで、タイムステップ間でブランチレベルの機能の再利用を実行する。 MoECaは、従来のキャッシュ方式よりも優れた速度品質のトレードオフを実現し、最大2.83$times$推論スピードアップと最小品質劣化を実現している。
参考スコア（独自算出の注目度）: 10.739058307716581
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Diffusion Transformers with Mixture-of-Experts (DiT-MoE) improve model capacity under sparse activation, but diffusion inference is still bottlenecked by redundant computation across timesteps. Existing caching methods mainly operate at the token level, which becomes suboptimal in DiT-MoE because each token update is internally decomposed into multiple routed expert branches. Our analysis shows that cross-timestep redundancy in DiT-MoE is better characterized at the expert-branch level than at the whole-token level. Based on this observation, we propose MoECa, a fine-grained caching framework that performs branch-level feature reuse across timesteps. MoECa further introduces expert-aware adaptive control and synchronized cache updates across MoE and attention paths to maintain stable intermediate states. Experiments on multiple DiT-MoE models show that MoECa consistently achieves a better speed-quality trade-off than prior caching methods, with up to 2.83$\times$ inference speedup and minimal quality degradation.
Abstract（参考訳）: DiT-MoE(Mixture-of-Experts)を用いた拡散トランスフォーマーは、スパースアクティベーション時のモデルキャパシティを改善するが、時間ステップ間の冗長計算によって拡散推論がボトルネックとなる。既存のキャッシュメソッドは主にトークンレベルで動作し、各トークン更新は内部的に複数のルーティングされた専門家ブランチに分解されるため、DiT-MoEでは最適ではない。分析の結果,DiT-MoEにおけるクロスタイムステップの冗長性は,専門家のブランチレベルにおいて,トーケンレベルよりも優れていた。この観測に基づいて,時間経過をまたいだブランチレベルの機能再利用を行う,きめ細かいキャッシュフレームワークであるMoECaを提案する。 MoECaはさらに、専門家対応のアダプティブコントロールと、MoE全体にわたる同期キャッシュ更新を導入し、安定した中間状態を維持するためのアテンションパスも導入している。複数のDiT-MoEモデルでの実験では、MoECaは従来のキャッシュ方式よりもずっと高速なトレードオフを実現しており、最大2.83$\times$推論のスピードアップと最小品質の劣化を実現している。

関連論文リスト

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
論文参考訳（メタデータ） (2026-06-15T15:08:09Z)
Sticky Routing: Training MoE Models for Memory-Efficient Inference [0.0]
StickyMoEは、隣接するトークン間の急激な専門家スイッチをペナライズする。ポストホックメソッドとは異なり、StickyMoEはエキスパート表現とルーティング決定を、最初のトレーニングステップから共適応させる。
論文参考訳（メタデータ） (2026-06-12T23:47:19Z)
Dynamic TMoE: A Drift-Aware Dynamic Mixture of Experts Framework for Non-Stationary Time Series Forecasting [39.362777320328256]
学習段階における時間的連続性とアーキテクチャの進化を統一するフレームワークであるDynamic TMoEを提案する。 9つのベンチマークの実験では、最先端のパフォーマンスを示し、MSEを10.4%、MAEを7.8%削減した。
論文参考訳（メタデータ） (2026-05-20T03:45:22Z)
ProCache: Constraint-Aware Feature Caching with Selective Computation for Diffusion Transformer Acceleration [14.306565517230775]
Diffusion Transformer (DiTs) は、生成モデリングにおいて最先端のパフォーマンスを達成したが、その高い計算コストは、リアルタイムデプロイメントを妨げている。既存の手法では,(1) 均一なキャッシング間隔がDiTの非一様時間ダイナミクスと一致しないこと,(2) 過大なキャッシング間隔によるナイーブな機能再利用が重大なエラーの蓄積につながること,の2つの重要な制限が課されている。 ProCacheはトレーニング不要な動的機能キャッシュフレームワークで、2つのコアコンポーネントを介してこれらの問題に対処する。
論文参考訳（メタデータ） (2025-12-19T07:27:19Z)
TNT: Improving Chunkwise Training for Test-Time Memorization [62.78875147721906]
タイタンスやTTTのような深いテストタイム記憶モジュールを持つリカレントニューラルネットワーク(RNN)は、トランスフォーマーとは異なる有望で線形にスケールするパラダイムである。 TNTは,2段階のプロセスを通じて,推論性能からトレーニング効率を分離する,新たなトレーニングパラダイムである。 TNTはトレーニング速度を最も正確なベースライン構成の17倍に高速化する。
論文参考訳（メタデータ） (2025-11-10T17:45:09Z)
Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models [52.502867924372275]
Mixture-of-Experts (MoE)モデルは、スパース専門家のアクティベーションを通じて効率的なスケーリングを実現するが、デプロイメントの分散シフトによる最適以下のルーティング決定に悩まされることが多い。我々は、外部の監視やデータなしで、テキスト生成中にMoEルーティング決定を継続的に適用するテキストタデータフリーオンラインテストタイムフレームワークを提案する。
論文参考訳（メタデータ） (2025-10-16T16:24:36Z)
ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
論文参考訳（メタデータ） (2025-03-10T03:15:54Z)
M2R2: Mixture of Multi-Rate Residuals for Efficient Transformer Inference [8.792650582656913]
M2R2(Mixture of Multi-rate Residuals)は,残差速度を動的に変調して早期アライメントを改善するフレームワークである。 M2R2は最先端の距離ベースの戦略を超え、生成品質とスピードアップのバランスをとる。自己投機的復号化では、M2R2はMT-Benchで最大2.8倍のスピードアップを達成する。
論文参考訳（メタデータ） (2025-02-04T06:13:52Z)
Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。 DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
論文参考訳（メタデータ） (2024-11-26T17:28:10Z)
Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文参考訳（メタデータ） (2024-06-03T18:49:57Z)
SMILE: Scaling Mixture-of-Experts with Efficient Bi-level Routing [47.11171833082974]
我々は、異種ネットワーク帯域を利用するSMILEを導入し、シングルステップのルーティングをバイレベルルーティングに分割する。提案手法は, コンバージェンス速度を損なうことなく, コロッサルクリーンクローリングコーパスのプリトレーニングスループットにおいて, スイッチ変換器の2.5倍の高速化が得られることを示す。
論文参考訳（メタデータ） (2022-12-10T03:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。