論文の概要: DuoRate: Two-Rate Per-Expert Precision Allocation for Mixture-of-Experts Serving
- arxiv url: http://arxiv.org/abs/2610.13328v1
- Date: Fri, 09 Oct 2026 10:07:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.517979
- Title: DuoRate: Two-Rate Per-Expert Precision Allocation for Mixture-of-Experts Serving
- Title（参考訳）: DuoRate:Mixture-of-Experts Servingのための2段階の精度割当
- Abstract要約: 我々はDuoRateを提案する。
オンラインでは、ラベルなしでワークロード自身のプリフィルをプロファイリングする。
Qwen3-30B-A3Bでは、DuoRate読み取り2.3bpwは平均精度の6.3から47.0ポイントを超える。
- 参考スコア（独自算出の注目度）: 17.927674064115834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Serving a Mixture-of-Experts (MoE) model pays for expert precision twice: the resident footprint pays for every expert the router can reach, while each batch-one decode step pays only for the experts it selects. These are two different rate functionals over the same per-expert widths, yet published per-expert MoE allocators constrain only the first. We call the difference the store-read gap; in the released BitsMoE checkpoint, 2.54 bits per weight (bpw) of storage become 7.50 bpw of decode traffic. We propose DuoRate, which stores once and reads per workload. Offline, it stores one uniform tier of a prefix-readable weight stream and bakes a distortion tensor. Online, it profiles a workload's own prefill without labels and solves a Lagrangian rate-distortion allocation under the decode functional; routing frequency provably cancels from every per-expert decision, and the solve costs one dot product per expert and a bisection. A deployment therefore keeps a single artifact that prefill reads at the stored rate and decode reads at the workload's own rate. On Qwen3-30B-A3B, DuoRate reading 2.3 bpw exceeds every 2-bit-class baseline by 6.3 to 47.0 points of average accuracy, and at 2.9 bpw it matches 4-bit formats that read 1.4-1.6 bpw more. The advantage is largest under long decoding: on GSM8K, DuoRate at 2.9 bpw matches or exceeds every 4-bit format and trails BF16 by only 0.25 points, and at 2.6 bpw it still matches or exceeds the 4.5-bit NF4 and FP4. Against controls in its own format, the allocation alone is worth 0.07-0.11 bpw of read rate. Code will be released upon publication.
- Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、ルータが到達可能なすべてのエキスパートに対して、常駐フットプリントが支払い、各バッチワンのデコードステップは、選択したエキスパートに対してのみ支払う。
これらは、専門家ごとの幅で異なる2つの速度関数であるが、専門家ごとのMoEアロケータは、最初の1つだけを制約している。
リリースされたBitsMoEチェックポイントでは、ストレージの2.54ビット(bpw)がデコードトラフィックの7.50bpwになる。
我々はDuoRateを提案する。
オフラインでは、プレフィックス可読重みストリームの一様層を格納し、歪みテンソルを焼く。
オンラインでは、ラベルなしでワークロード自身のプリフィルをプロファイルし、デコード関数の下でラグランジアンレート歪み割り当てを解決する。
従って、デプロイは、格納されたレートで読み取りをプリフィルする単一のアーティファクトを保持し、ワークロード自身のレートで読み取りをデコードする。
Qwen3-30B-A3Bでは、2.3bpwは平均精度の6.3から47.0ポイントで、2.9bpwは1.4-1.6bpw以上の4ビットフォーマットと一致する。
GSM8Kでは、DuoRateは2.9bpw、BF16は0.25ポイント、BF16は2.6bpwで4.5ビットのNF4とFP4をいっそう上回る。
独自のフォーマットのコントロールに対して、アロケーションだけでリードレートは0.07-0.11 bpwである。
コードは出版時に公開される。
関連論文リスト
- Read What Matters: Query-Adaptive Quantization for KV Caches [6.942025710859187]
KV-cacheエントリは、将来のクエリが知られる前に格納されるが、それぞれのデコードクエリは、異なる場所で精度を必要とする。
我々はこのミスマッチを,クエリ毎に取得した保持ビットとビットに対して,個別の予算を用いて検討する。
各クエリに対して、ReadKVはクエリを使用してキーチャネルのプレフィックスを割り当て、再構成されたキーから注意を計算し、そのアテンションを使用してバリュートークンのプレフィックスを割り当てる。
論文 参考訳（メタデータ） (2026-10-08T04:47:41Z) - StagQ: Constraint-Driven Multi-Precision Weight Quantization for LLMs [17.927674064115834]
マルチ精度重み形式であるStagQを提案する。
サポートされているすべての精度は、アフィンマップでデコードされた読みやすいプレフィックスである。
グリッドが装着される前後に埋められたスパースサイドレコードは、グリッドが最悪に働く数少ない重みを排除している。
論文 参考訳（メタデータ） (2026-10-05T08:28:43Z) - PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents [85.82624962221026]
本稿では、読みを推論から切り離すPARSERを紹介する。
単一のチャンクにバインドされた軽量サブエージェントのバンクは、ドキュメント全体を並列に読み取る。
7Kから896Kまでのコンテキストを持つマルチホップQAでは、4Bバックボーンを持つPARSERが最強のシーケンシャルメモリベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-06T16:19:01Z) - Unfolding the Leech Lattice: Fused Multi-Shell Decoding and VRAM Layouts for 2-Bit LLM Weights [8.550323073861415]
リーチ格子ベクトル量子化は、最強の報告された2ビット品質を独自の評価プロトコルで保持する。
本報告では, バッチ1におけるデコード相GEMVの供用コストを計測する。
論文 参考訳（メタデータ） (2026-09-02T14:26:06Z) - HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳（メタデータ） (2026-09-01T18:02:02Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving [0.28304882054363123]
この研究はPTQTPの解法に制約としてそのアイデンティティを課した最初のものである。
我々は、284B-A13B混合エキスパートモデルであるDeepSeek-V4-Flash-0731のルートエキスパートに適用する。
すべてのコード、フォーマット、評価アーティファクトは、fucina推論スタックでオープンソースである。
論文 参考訳（メタデータ） (2026-08-09T20:53:47Z) - XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference [0.0]
XFPはコードブックのサイズ、アウトリーチ予算、レイヤごとのパッケージを自動的に決定する。
XFPはワークステーションハードウェア上で128 tok/sのシングルストリームデコードに達する。
対象メモリエンベロープに収まらないモデルに対しては、H-Processを示す。
論文 参考訳（メタデータ） (2026-05-14T13:52:31Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。
条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。
本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
論文 参考訳（メタデータ） (2025-09-29T16:29:17Z) - BiMaCoSR: Binary One-Step Diffusion Model Leveraging Flexible Matrix Compression for Real Super-Resolution [63.777210548110425]
本稿では,バイナライゼーションと1段階蒸留を組み合わせたBiMaCoSRを提案する。
BiMaCoSRはFPに比べて23.8倍圧縮率と27.4倍スピードアップ比を達成した。
論文 参考訳（メタデータ） (2025-02-01T06:34:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。