論文の概要: Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE

• arxiv url: http://arxiv.org/abs/2606.26938v1
• Date: Thu, 25 Jun 2026 12:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.279228
• Title: Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE
• Title（参考訳）: 問題に焦点をあてて:拡散型MOEのための精度の高いルーティング
• Abstract要約: Mixture-of-Experts (MoE)アーキテクチャは、視覚生成における拡散モデルをスケールするための強力なパラダイムとして登場した。 シャープモエ(SharpMoE)は,サリエンシハーネスの正確なルーティング機構を備えたポストトレーニングフレームワークである。 ノイズ歪んだ入力をバイパスすることで、SharpMoEはルータに明確なサリエンシガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 49.45064510462232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) architectures have emerged as a powerful paradigm for scaling diffusion models in visual generation. Recent advancements have focused on adaptively allocating computational resources across diverse tokens to improve efficiency and performance. However, we identify a routing assignment problem in existing diffusion MoE frameworks: the router fails to accurately allocate more computational resources to salient tokens. Our analysis attributes this failure to the router's reliance on noise-corrupted latent features throughout the denoising process. Such stochastic noise obscures the critical structural and textural information, thereby preventing the router from effectively distinguishing salient tokens. To address this, we propose SharpMoE, a post-training framework with a saliency-harnessing accurate routing mechanism, which utilizes clean latent features as a noise-free guidance signal for routing. By bypassing the noise-distorted inputs, SharpMoE provides the router with clear saliency guidance, enabling the identification of salient tokens even in high-noise stages. Furthermore, we introduce a trajectory routing loss to constrain the compute allocation throughout the multi-step denoising trajectory, ensuring precise resource allocation along the generation rollout. Extensive experiments demonstrate that SharpMoE serves as a versatile, plug-and-play solution that further enhances the pretrained, converged MoE models, achieving state-of-the-art performance in visual generation.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、視覚生成における拡散モデルをスケールするための強力なパラダイムとして登場した。 近年の進歩は、効率と性能を改善するために、様々なトークンにまたがる計算資源を適応的に割り当てることに焦点を当てている。 しかし、既存の拡散型MoEフレームワークではルーティング割り当ての問題が特定されている: ルータは正常なトークンにより多くの計算資源を正確に割り当てることができない。 我々の分析は、この障害の原因として、ノイズを発生させた遅延特性にルータが依存していることが挙げられる。 このような確率的ノイズは、臨界構造情報やテクスチャ情報を隠蔽し、ルータが有能なトークンを効果的に識別するのを防ぐ。 そこで本稿では,ノイズフリー誘導信号としてクリーンな潜伏特徴を有効活用する,サリエンシに配慮した正確なルーティング機構を備えた後学習フレームワークSharpMoEを提案する。 ノイズ歪んだ入力をバイパスすることで、SharpMoEはルータに明確なサリエンシガイダンスを提供し、ハイノイズの段階でもサリエントトークンの識別を可能にする。 さらに,マルチステップ・デノベーション・トラジェクトリ全体の計算割り当てを制約するトラジェクトリ・ルーティング・ロスを導入し,ジェネレーション・ロールアウトに沿って正確なリソース割り当てを確保する。 広範囲にわたる実験により、SharpMoEは、事前訓練された収束したMoEモデルをさらに強化し、ビジュアル生成における最先端のパフォーマンスを達成する、汎用的でプラグアンドプレイなソリューションとして機能することが示された。

関連論文リスト

• CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
  本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。 ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。 ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
  論文  参考訳（メタデータ） (2026-09-01T22:49:46Z)
• TRaM-VSR: Importance-Aware Token Routing and Merging for One-Step Diffusion Video Super-Resolution [52.96050253456634]
  TRaM-VSRは、コンテキスト対応のビデオプリエントとネットワークレベルを用いた適応トークンアロケーションのためのフレームワークである。 その結果、TRaM-VSRは、最先端の復元品質と頑健な時間的整合性を維持しつつ、推論を著しく加速することがわかった。
  論文  参考訳（メタデータ） (2026-07-24T11:57:26Z)
• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• Learned Relay Representations for Forward-Thinking Discrete Diffusion Models [34.17541648016911]
  本稿では,ラウンド間のハードリセットを回避するために,Learned Relay Representations (Relay)を提案する。 Relayは、フォワードパス間で情報を渡し、時間の経過とともに切り捨てられたバックプロパゲーションを通じてトレーニングされる、差別化可能なパートークンチャネルを導入している。 Relayは最先端の拡散言語モデル(DLM)に拡張可能であり、ブロック拡散やKVキャッシングといった技術とシームレスに互換性があることを示す。
  論文  参考訳（メタデータ） (2026-05-21T18:53:22Z)
• TrafficMoE: Heterogeneity-aware Mixture of Experts for Encrypted Traffic Classification [12.748275751587363]
  暗号化されたトラフィック分類は、ネットワークセキュリティにとって重要なタスクである。 一つのサイズにフィットする静的デザインは、本質的に欠陥がある。 静的モデリングのボトルネックを突破するフレームワークであるTrafficMoEを提案する。
  論文  参考訳（メタデータ） (2026-03-31T10:05:54Z)
• TraceRouter: Robust Safety for Large Foundation Models via Path-Level Intervention [44.64827167753535]
  有害なセマンティクスは分散層間回路として機能し、局所的な介入が不安定で実用性に有害である。 我々は,不特定意味論の因果伝播回路をトレースし,切断するパスレベルフレームワークである textbfTrace を提案する。 トレースは最先端のベースラインを著しく上回り、敵の堅牢性と汎用性とのトレードオフが優れている。
  論文  参考訳（メタデータ） (2026-01-29T15:58:12Z)
• Lost in the Noise: How Reasoning Models Fail with Contextual Distractors [57.31788955167306]
  推論モデルとエージェントAIシステムの最近の進歩は、多様な外部情報への依存度を高めている。 NoisyBenchは、RAGの11のデータセット、推論、アライメント、ツール使用タスクに対して、モデルロバスト性を体系的に評価する包括的なベンチマークである。 評価の結果,文脈的障害に直面した場合,最先端モデルでは最大80%の破滅的な性能低下がみられた。
  論文  参考訳（メタデータ） (2026-01-12T05:43:51Z)
• Routing Matters in MoE: Scaling Diffusion Transformers with Explicit Routing Guidance [79.21541758879012]
  Mixture-of-Experts (MoE) は計算効率を保ちながらモデルキャパシティをスケールするための強力なパラダイムとして登場した。 本稿では、専門家の専門化を促進する明示的なルーティングガイダンスを備えた2ステップルータを備えたMoEフレームワークであるProMoEを紹介する。
  論文  参考訳（メタデータ） (2025-10-28T17:59:02Z)
• DiffMoE: Dynamic Token Selection for Scalable Diffusion Transformers [86.5541501589166]
  DiffMoEはバッチレベルのグローバルトークンプールで、トレーニング中に専門家がグローバルトークンの配布にアクセスできるようにする。 ImageNetベンチマークの拡散モデル間での最先端のパフォーマンスを実現する。 このアプローチの有効性は、クラス条件生成を超えて、テキスト・ツー・イメージ生成のようなより困難なタスクにも及んでいる。
  論文  参考訳（メタデータ） (2025-03-18T17:57:07Z)
• ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising [52.01041506447195]
  ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。 実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-04T08:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。