論文の概要: ITC-MoE: Importance-guided Token-aware Compression for MoE Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.01296v1
• Date: Thu, 01 Oct 2026 08:31:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.001135
• Title: ITC-MoE: Importance-guided Token-aware Compression for MoE Diffusion Language Models
• Title（参考訳）: ITC-MoE:MoE拡散言語モデルにおける重要誘導トークン認識圧縮
• Abstract要約: Mixture-of-Experts (MoE) Diffusion Language Models (DLMs) はフレキシブルな並列復号化とモデルキャパシティの向上を提供する。 既存の低ランクMoE圧縮法は、静的分解と固定階数割り当てに大きく依存している。 本報告では,MoE DLM のための重要誘導型トーケン対応圧縮フレームワーク ITC-MoE を提案する。
• 参考スコア（独自算出の注目度）: 17.629220042205016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) Diffusion Language Models (DLMs) offer flexible parallel decoding and increased model capacity, but their large number of expert parameters incurs substantial computation and storage costs. Existing low-rank MoE compression methods largely rely on static factorization and fixed rank allocation, which overlook the distinctive properties of MoE DLMs. Specifically, we identify two properties: cross-mode non-uniform redundancy, where parameter redundancy and sensitivity to rank truncation vary across the input, output, and expert modes, and token-wise utilization variation, where hot and cold tokens exhibit distinct spectral characteristics and expert activation patterns. To address these challenges, we propose ITC-MoE, an Importance-guided Token-aware Compression framework for MoE DLMs. ITC-MoE consists of two complementary components. First, Importance-guided Adaptive Tucker Compression (IATC) incorporates activation and gradient importance into expert weight transformation, jointly factorizes expert weights across multiple modes, and adaptively allocates ranks under a fixed parameter budget. Second, Token-aware Compensation and Routing (TCR) applies lightweight low-rank compensation to compression-sensitive hot tokens and restricts the candidate expert set for cold tokens with concentrated routing patterns. By jointly adapting compression capacity and inference execution to both parameter redundancy and token-wise variation, ITC-MoE substantially reduces the computation and storage costs of MoE DLMs while preserving their generation quality. For example, on SDAR-30B-A3B-Chat-b32, ITC-MoE maintains an accuracy of 96.33% on MultiArith under a 30% compression budget, while achieving up to a 7.22x end-to-end speedup. The code is publicly available at https://github.com/lianjunl13-sudo/ITC-MoE.
• Abstract（参考訳）: Mixture-of-Experts (MoE) Diffusion Language Models (DLMs) は、フレキシブルな並列デコーディングとモデルキャパシティの向上を提供するが、その多くの専門家パラメータは、相当な計算とストレージコストをもたらす。 既存の低ランクMoE圧縮法は、MoE DLMの特徴的な特性を無視する静的因数分解と固定階数割り当てに大きく依存している。 具体的には、入力、出力、エキスパートモード間でパラメータ冗長性とランクランケーションに対する感度が異なるクロスモード非一様冗長と、ホットトークンとコールドトークンが異なるスペクトル特性と専門家アクティベーションパターンを示すトークン単位の利用変動の2つの特性を同定する。 これらの課題に対処するため、我々は、MoE DLMの重要度に配慮したToken-Aware CompressionフレームワークであるITC-MoEを提案する。 ITC-MoEは2つの相補的なコンポーネントから構成される。 第一に、Importance-guided Adaptive Tucker Compression (IATC)は、アクティベーションと勾配の重要度を専門家の重み変換に取り入れ、複数のモードで専門家の重みを共同で分解し、固定パラメータ予算の下で順応的にランクを割り当てる。 第二に、Token-Aware Compensation and Routing (TCR)は、圧縮感度の高いホットトークンに対して軽量な低ランク補償を適用し、集中的なルーティングパターンでコールドトークンの候補エキスパートセットを制限する。 ITC-MoEは、圧縮キャパシティと推論実行をパラメータ冗長性とトークンワイド変動の両方に共同で適応することにより、生成品質を維持しながら、MoE DLMの計算と保存コストを大幅に削減する。 例えば、SDAR-30B-A3B-Chat-b32では、ITC-MoEは圧縮予算の30%でMultiArith上で96.33%の精度を維持し、最大7.22倍のエンドツーエンドスピードアップを実現している。 コードはhttps://github.com/lianjunl13-sudo/ITC-MoEで公開されている。

関連論文リスト

• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• ZipMoE: Efficient On-Device MoE Serving via Lossless Compression and Cache-Affinity Scheduling [56.88966608455977]
  ZipMoEはエッジデバイスのハードウェア特性とMoEパラメータ固有の統計的冗長性との相乗効果を利用する。 ZipMoEは72.77%の推論遅延低減と6.76タイムのスループットを実現している。
  論文  参考訳（メタデータ） (2026-01-29T02:51:59Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• MoME: Mixture of Matryoshka Experts for Audio-Visual Speech Recognition [39.90876258237132]
  Matryoshka Expression Learning (MRL)は、単一のモデルを複数のトークンの粒度にわたって動作させることによって、この問題に対処する。 MoME は MRL をベースとした音声認識用大規模言語モデルにスパース・ミックス・オブ・エクササイズ (MoE) を統合する新しいフレームワークである。 MoME は AVSR 、 ASR 、 VSR のタスクにまたがって最先端のパフォーマンスを実現するが、パラメータは大幅に少ない。
  論文  参考訳（メタデータ） (2025-10-05T10:34:34Z)
• ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
  複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
  論文  参考訳（メタデータ） (2025-03-10T03:15:54Z)
• Delta Decompression for MoE-based LLMs Compression [22.144081182788394]
  D2$-MoEは、MoE LLMのパラメータを減らすための新しいデルタ圧縮圧縮機である。 我々はそれらの重みを共有基底重みとユニークなデルタ重みに分解する。 実験では、私たちのアプローチの優位性を強調し、13%以上のパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2025-02-24T16:32:22Z)
• Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
  我々は、Mixture-of-Experts Large Language Model (MoE-LLMs) のためのトレーニング不要なMixture-Compressorを提案する。 我々のMCは静的量子化と動的プルーニングを統合し、より少ない精度でMoE-LLMの極端な圧縮を実現する。 例えば、2.54ビットでは、MCは76.6%を圧縮し、平均精度損失は3.8%である。
  論文  参考訳（メタデータ） (2024-10-08T18:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。