論文の概要: Expert-Choice Routing Enables Adaptive Computation in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2604.01622v1
• Date: Thu, 02 Apr 2026 05:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.366512
• Title: Expert-Choice Routing Enables Adaptive Computation in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおける適応計算を可能にするエキスパートコースルーティング
• Abstract要約: 専門家選択ルーティングはトークン選択ルーティングよりも拡散言語モデルに適していることを示す。 我々は、時間に依存した専門家の能力を導入します。 DLM MoEモデルでは,ECルーティングが優れたパラダイムとして確立されている。
• 参考スコア（独自算出の注目度）: 11.628969213956502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models (DLMs) enable parallel, non-autoregressive text generation, yet existing DLM mixture-of-experts (MoE) models inherit token-choice (TC) routing from autoregressive systems, leading to load imbalance and rigid computation allocation. We show that expert-choice (EC) routing is a better fit for DLMs: it provides deterministic load balancing by design, yielding higher throughput and faster convergence than TC. Building on the property that EC capacity is externally controllable, we introduce timestep-dependent expert capacity, which varies expert allocation according to the denoising step. We find that allocating more capacity to low-mask-ratio steps consistently achieves the best performance under matched FLOPs, and provide a mechanistic explanation: tokens in low-mask-ratio contexts exhibit an order-of-magnitude higher learning efficiency, so concentrating compute on these steps yields the largest marginal return. Finally, we show that existing pretrained TC DLMs can be retrofitted to EC by replacing only the router, achieving faster convergence and improved accuracy across diverse downstream tasks. Together, these results establish EC routing as a superior paradigm for DLM MoE models and demonstrate that computation in DLMs can be treated as an adaptive policy rather than a fixed architectural constant. Code is available at https://github.com/zhangshuibai/EC-DLM.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、並列で非自己回帰的なテキスト生成を可能にするが、既存のDLMミックスオブエキスパート(MoE)モデルは自動回帰システムからトークン選択(TC)ルーティングを継承し、負荷不均衡と厳密な計算割り当てをもたらす。 我々は、専門家選択(EC)ルーティングがDLMに適していることを示し、設計による決定論的ロードバランシングを提供し、TCKよりも高いスループットと高速な収束をもたらす。 外部制御可能なECキャパシティを基盤として,時間に依存した専門家キャパシティを導入する。 低マスク比のステップにより多くのキャパシティを割り当てることは、一致したFLOPのベストパフォーマンスを一貫して達成し、メカニカルな説明を提供する。 最後に、既存の訓練済みのTC DLMを、ルータのみを置き換え、より高速な収束を実現し、様々な下流タスクにまたがる精度を向上させることにより、ECに適合させることができることを示す。 これらの結果はDLM MoEモデルに優れたパラダイムとしてECルーティングを確立し、DLMの計算を固定アーキテクチャ定数ではなく適応ポリシーとして扱うことができることを示した。 コードはhttps://github.com/zhangshuibai/EC-DLM.comで入手できる。

関連論文リスト

• Diffusion Language Models for Mobile Edge Agentic AI: Foundations, Applications, and Challenges [58.887152635127165]
  拡散言語モデル(DLM)は、モバイルエッジエージェント人工知能(AI)の非自己回帰的な代替手段を提供する DLMは複数の不確実なトークンを並列に更新し、生成プロセスを通して双方向のコンテキストを利用することができる。 この調査は、DLMの基礎をレビューし、レイテンシ、メモリ、エネルギ、帯域幅、プライバシ、信頼性制約の下でのエッジ設定に対する適合性を分析します。
  論文  参考訳（メタデータ） (2026-09-04T06:16:49Z)
• Empowering Compact LLMs with Fusion of Layer-wise Exits for Recommendation [59.216721553953]
  大規模言語モデルベースレコメンデータシステム(LLM-RS)は目覚ましい能力を示しているが、現実の多くのアプリケーションでは計算的に持続不可能である。 本稿では,スケーラブルなフルコーパスランキングを維持しつつ,コンパクトなLLMを向上する識別フレームワークを提案する。 Qwen 3 1.7BとLlama 3.2 3Bの3つの実世界のデータセットの実験では、FLEXRecは高い効率を維持しながら最先端の精度を達成している。
  論文  参考訳（メタデータ） (2026-08-18T03:14:28Z)
• REFLEX: Rethinking MoE Inference as Refinement-Aware Compute Allocation in Diffusion Language Models [15.630466998208261]
  Mixture-of-experts (MoE)モデルはトークンごとに少数の専門家のみを活性化することでパラメータ容量を増加させる。 しかし、拡散言語モデル(DLMs)では、それぞれが高度に異なる洗練された要求にもかかわらず、全てのトークンの位置を共同で再定義する。 したがって、DLMにおけるMoE推論は、不均一なトークン精錬状態にまたがる洗練された計算割り当てと見なされるべきである。
  論文  参考訳（メタデータ） (2026-08-03T06:59:06Z)
• GeMoE: Gating Entropy is All You Need for Uncertainty-aware Adaptive Routing in MoE-based Large Vision-Language Models [22.253490303318262]
  大規模ビジョンランゲージモデル(LVLM)は、推論コストを維持しながらパラメータ容量を拡大する。 従来のMoEメソッドはTop-k静的ルーティング戦略を採用しており、入力のバリエーションを考慮せず、専門家の数を適応的に選択する。 ゲティングエントロピーに基づく不確実性を考慮した適応ルーティング(GeMoE)を提案する。 本手法は,従来の静的なルーティングに比べて99.5%の平均的な性能保持を実現するとともに,平均的な専門家アクティベーション間隔を36.5%改善する。
  論文  参考訳（メタデータ） (2026-06-24T18:34:00Z)
• Rewiring Experts on the Fly:Continuous Rerouting for Better Online Adaptation in Mixture-of-Expert models [52.502867924372275]
  Mixture-of-Experts (MoE)モデルは、スパース専門家のアクティベーションを通じて効率的なスケーリングを実現するが、デプロイメントの分散シフトによる最適以下のルーティング決定に悩まされることが多い。 我々は、外部の監視やデータなしで、テキスト生成中にMoEルーティング決定を継続的に適用するテキストタデータフリーオンラインテストタイムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-16T16:24:36Z)
• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
  Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。 現在のMoEモデルはパラメータ非効率をしばしば表示する。 我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:25:13Z)
• Adaptive Draft-Verification for Efficient Large Language Model Decoding [24.347886232342862]
  大規模言語モデル(LLM)デコードでは、与えられたコンテキストに基づいてトークンのシーケンスを生成する。 典型的な自己回帰復号法では、生成されたトークンごとに別の前方通過が必要となる。 微調整を必要とせずにLDMデコーディングを高速化するADEDを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:20:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。