論文の概要: The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction

• arxiv url: http://arxiv.org/abs/2609.18063v2
• Date: Thu, 17 Sep 2026 16:03:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.62037
• Title: The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
• Title（参考訳）: メモリーウォールの残り半分:トレーニングされたルーティング予測でSSDから35BのMoEを取得
• Abstract要約: コンシューマハードウェア上のMixture-of-experts (MoE)推論は、重みメモリによってバウンドされる。 We present Edge0, a streaming MoE inference engine that close the gap with a prerouter。 1台の24GBマシンでは、Edge0はピークアクティブメモリの3GiB内の20tok/sで35B MoEを提供する。
• 参考スコア（独自算出の注目度）: 9.706368888161817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-experts (MoE) inference on consumer hardware is bounded by weight memory: a 35B-class model is 19.5GB at 4-bit, and sparsity shrinks the compute per token, not the bytes that must be held. Naive offloading to SSD does not help on its own, because layer N+1's experts must be chosen before layer N's output exists, so the reads cannot start early enough to hide behind compute. We present Edge0, a streaming MoE inference engine that closes the gap with a prerouter: a per-layer head predicts the next layer's routing one token ahead, and the prediction is consumed as the routing itself, so the staged expert set equals the routed set and nothing is dropped. An unmerged recovery LoRA, trained on the student path, pays back the quality lost to int4 quantization and routing replacement. On a single 24GB machine, Edge0 serves a 35B MoE at 20tok/s inside 3GiB of peak active memory, within a few points of its fp16 teacher on average across five public benchmarks. An 8B tier runs on the same framework, and the framework, checkpoints, and adapters are open source.
• Abstract（参考訳）: 35B級モデルは4ビットで19.5GB、スパーシティは保持すべきバイトではなくトークン当たりの計算を縮小する。 なぜなら、レイヤN+1のエキスパートは、レイヤNの出力が存在する前に選択されなければならないため、読み取りは計算の背後に隠れるほど早く開始できないからである。 プレルータとのギャップを埋めるストリーミングMoE推論エンジンであるEdge0は、層ごとのヘッドが次の層のトークンのルーティングを前方に予測し、その予測をルーティング自体として消費するので、ステージ化されたエキスパートセットはルーティングされたセットと等しく、何もドロップしない。 学生パスでトレーニングされた未マージリカバリLoRAは、t4量子化とルーティング置換に失われた品質を返却する。 1台の24GBマシン上では、Edge0はピークアクティブメモリの3GiB内の20tok/sで35B MoEを提供する。 8Bティアは同じフレームワークで動作し、フレームワーク、チェックポイント、アダプタはオープンソースである。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Cacheable by Design? Training Mixture-of-Experts Routers for Locality Against the Edge Memory-Bandwidth Wall: A Pre-Registered Negative Result with a Systems Measurement Study [0.0]
  Qwen3-235B(Q4_K_M, 134 GB)の帯域幅の壁の定量化 ゼロサージリールータテレメトリーツールである llamamoe-trace を構築し,Q3-30B のルーティングを測定した。 補助的な局所性とドメインルータ損失を有する137M MoE言語モデルの事前登録訓練を行う。
  論文  参考訳（メタデータ） (2026-08-18T19:23:32Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory [1.081571058570587]
  AlltoAllのディスパッチは、MoEの専門家並列性の主要なボトルネックである。 ワークロードに関する2つの仮定をテストするために、DODOCOを導入します。 EPのスケーリングは、各アーキテクチャの計測可能な範囲内で、専門家ごとの最大/平均トークン比を5%以上変更する。
  論文  参考訳（メタデータ） (2026-05-20T10:14:00Z)
• Density Field State Space Models: 1-Bit Distillation, Efficient Inference, and Knowledge Organization in Mamba-2 [0.0]
  Int8の低ランク補正を施した1ビット足場にSSMを圧縮するフレームワークである密度場状態空間モデル(DF-SSM)を提案する。 278MBモデル(FP16教師の2.7GBより9.7倍小さい)をGPU上で21.4倍高速に動作させる。
  論文  参考訳（メタデータ） (2026-04-28T14:25:10Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• Open-TQ-Metal: Fused Compressed-Domain Attention for Long-Context LLM Inference on Apple Silicon [0.0]
  我々は、Apple Siliconに融合圧縮ドメインアテンションの最初の実装であるOpen-TQ-Metalを紹介する。 Llama 3.1 70Bの128Kコンテクスト推論を可能にする。 Open-TQ-MetalはKVキャッシュをオンザフライでInt4に量子化し、圧縮された表現に直接注意を計算する。
  論文  参考訳（メタデータ） (2026-04-18T10:39:28Z)
• Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth [0.0]
  Unsloth上で3.5倍のスピードアップを実現したオープンソースのトレーニングフレームワークであるCentralsを紹介します。 オンラインのソフトマックスの正しさ、FlashAttention IO complexity O(N2 d2 M-1)、LoRA+学習速度勾配近似など、完全な数学的基礎を提供する。
  論文  参考訳（メタデータ） (2026-01-06T00:00:55Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• A Joint Energy and Latency Framework for Transfer Learning over 5G Industrial Edge Networks [53.26338041079138]
  5G産業エッジネットワークのための転送学習対応エッジCNNフレームワークを提案する。 特に、エッジサーバは、既存の画像データセットを使用してcnnを事前トレーニングすることができる。 TLの助けを借りて、トレーニングに参加していないデバイスは、訓練されたエッジCNNモデルをスクラッチからトレーニングせずに微調整するだけです。
  論文  参考訳（メタデータ） (2021-04-19T15:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。