論文の概要: Quality-Constrained Routing over a Fixed Pool of Quantized Mixture-of-Experts Instances
- arxiv url: http://arxiv.org/abs/2609.12550v1
- Date: Fri, 11 Sep 2026 07:57:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.671809
- Title: Quality-Constrained Routing over a Fixed Pool of Quantized Mixture-of-Experts Instances
- Title（参考訳）: 量子混合器の固定プール上の品質制約付きルーティング
- Abstract要約: Quantized Mixture-of-Experts (MoE) サービスは、1つのベースモデルのいくつかのプリマテリアル化されたインスタンスを保持することができる。
インスタンスの実体化とレプリカ数はメモリを消費するので、アップストリームのプロビジョニング決定として扱います。
各要求をルーティングして、クラスレベルの期待品質劣化予算の下で、モデル化されたスループットを最大化する。
- 参考スコア（独自算出の注目度）: 5.053749663617978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantized Mixture-of-Experts (MoE) services can hold several pre-materialized instances of one base model, but quantization damage varies sharply across requests and bitwidths. Because instance materialization and replica counts consume memory and require slow reconfiguration, we treat them as upstream provisioning decisions and study routing within a fixed resident pool. Within this fixed-pool boundary, we route each request to maximize modeled throughput under a class-level expected quality-degradation budget and measured instance capacities. To predict this request-specific risk, we introduce FWP (Fragility-Weighted Perplexity), computed from prompt tokens on a reference-instance prefill and calibrated to candidate-instance degradation. Underlying FWP is an exact two-expert affinity--fragility decomposition and a conditional multi-layer top-$k$ expansion whose bias, interaction, route-change, separability, and higher-order terms remain explicit. Using these calibrated risks, a window-level linear program yields a signed reduced-reward score that is KKT-consistent with the LP optimum under optimal prices and primal-feasible tie allocation. On 88 extended Qwen prompts, complete W2, W3, and W4 instances quantizing all 6,144 expert blocks incur mean $Δ$NLL of $0.9437$, $0.1832$, and $0.0513$. Under the same population and $τ=0.1513$, FWP allocation reaches a $1.284\times$ offline model-based multiplier versus $1.253\times$ for request-agnostic mixing and $1.000\times$ for static W4, an incremental $2.5\%$ relative FWP gain.
- Abstract（参考訳）: Quantized Mixture-of-Experts (MoE) サービスは、1つのベースモデルのプリマテリアル化されたインスタンスを複数保持できるが、量子化の損傷は要求やビット幅によって大きく異なる。
インスタンスの実体化と複製はメモリを消費し、遅い再設定を必要とするので、それらを上流のプロビジョニング決定として扱い、固定された常駐プール内でルーティングを研究する。
この固定プール境界内では、各要求をルーティングし、クラスレベルの期待品質劣化予算と測定インスタンス容量に基づいて、モデル化されたスループットを最大化する。
この要求固有のリスクを予測するために、FWP(Fragility-Weighted Perplexity)を導入する。
FWPの根底にあるのは、厳密な2つの専門的親和性の分解と条件付き多層展開であり、そのバイアス、相互作用、経路変化、分離性、高次項は明示的のままである。
これらのキャリブレーションされたリスクを用いて、ウィンドウレベルの線形プログラムは、最適な価格とプライマリ・ファシブル・タイアロケーションの下でLP最適値と一致した符号付きリワードスコアを得る。
88の拡張 Qwen プロンプトでは、完全 W2, W3, W4 のインスタンスが 6,144 個のエキスパートブロック全てを量子化し、平均$$Δ$NLL, $0.9437$, $0.1832$, $0.0513$ となる。
同じ人口と$τ=0.1513$の下で、FWP割り当ては、オフラインモデルベースの乗算器が$1.284\times$、リクエスト非依存混合が$1.253\times$、静的W4が$1.000\times$、相対的な$2.5\%$である。
関連論文リスト
- SoftWater: Class-Aware Rate Allocation for Softmax Quantization [5.213778368155993]
訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。
現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30%を占めており、fp16ヘッドを持つ名目2ビットのモデルは重量の何倍ものビットを格納することができる。
我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
論文 参考訳（メタデータ） (2026-08-12T13:06:50Z) - SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳（メタデータ） (2026-08-05T17:51:25Z) - Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit [0.30586855806896046]
古典的なペア化されたサンプルサイズ計算を量子化ベンチマークに適用する。
境界は「私の量子化の主張はどの程度信頼できるのか?」を1行の予算に転換する。
5行の事前登録テンプレートで境界を補完する。
論文 参考訳（メタデータ） (2026-05-25T07:13:35Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - AESOP: Adversarial Execution-path Selection to Overload Deep Learning Pipelines [6.773252452930085]
現代の機械学習のデプロイメントは、動的推論パイプラインに特別なモデルを組み込むようになってきている。
この構造は, 単一モデルを対象とした既存手法では利用できない, 効率攻撃面を生成する。
脆弱性誘導経路ランキングと適応的損失重み付けを組み合わせたフレームワークであるAESOPを提案する。
論文 参考訳（メタデータ） (2026-05-09T09:16:49Z) - Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving [9.457255218406333]
プロダクションvLLMフリートは通常、最悪のコンテキスト長に対して各インスタンスをプロビジョニングする。
実際には、80-95%のリクエストは短いが、長いコンテキストに最適化された設定の下で提供される。
本稿では,同種艦隊を2つの専用プールに分割する軽量ディスパッチ機構であるデュアルプールトークン予算ルーティングを提案する。
論文 参考訳（メタデータ） (2026-04-09T10:47:20Z) - Topological Characterization of Churn Flow and Unsupervised Correction to the Wu Flow-Regime Map in Small-Diameter Vertical Pipes [0.0]
特徴曲面(ECS)を用いた最初のトポロジに基づく特徴評価手法を提案する。
この研究はチャーンフローの最初の数学的定義を提供し、教師なしトポロジカル記述子は機械学的なモデルに挑戦し修正できることを示した。
論文 参考訳（メタデータ） (2026-04-07T17:59:15Z) - Constrained Pricing under Finite Mixtures of Logit [12.60044184194183]
制約付き価格問題について,多項・混合ロジット需要モデルを用いて検討する。
有限混合ロジットによる制約付き価格設定は,顧客セグメント数が制限された場合にPTASを許容することを示す。
論文 参考訳（メタデータ） (2026-02-08T20:48:50Z) - Multiple-play Stochastic Bandits with Prioritized Arm Capacity Sharing [52.124267908936396]
このモデルは、$M$armと$K$playで構成されている。
各アームには複数の能力があり、各ユニットの能力は報酬関数に関連付けられている。
複数のプレーがアームキャパシティを競う場合、アームキャパシティは第1の優先重みで割り当てられる。
論文 参考訳（メタデータ） (2025-12-25T11:19:09Z) - Probabilistically Tightened Linear Relaxation-based Perturbation Analysis for Neural Network Verification [83.25968588249776]
本稿では,LiRPAに基づく手法とサンプリングに基づく手法を組み合わせることで,厳密な中間到達性集合を計算できる新しいフレームワークを提案する。
無視可能な計算オーバーヘッドでは、$textttPT-LiRPA$は推定された到達可能な集合を利用し、ニューラルネットワークの出力の上下線形境界を著しく締め付ける。
論文 参考訳（メタデータ） (2025-07-07T18:45:53Z) - RePO: Understanding Preference Learning Through ReLU-Based Optimization [66.098833436503]
本稿では,ReLUに基づくPreference Optimization (RePO)を提案する。
RePOは、ロジスティック重み付けが二項しきい値に崩壊するSimPOの制限ケース(「infty$」の略)として特徴付けられる。
AlpacaEval 2 と Arena-Hard の実証結果は、RePO が複数のベースモデルで DPO と SimPO を上回っていることを示している。
論文 参考訳（メタデータ） (2025-03-10T15:11:07Z) - On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。
キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
論文 参考訳（メタデータ） (2023-06-03T05:01:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。