論文の概要: Cascadia: Resident 975B MoE Inference on Eleven AI PCs

• arxiv url: http://arxiv.org/abs/2610.07219v1
• Date: Mon, 05 Oct 2026 18:29:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.596009
• Title: Cascadia: Resident 975B MoE Inference on Eleven AI PCs
• Title（参考訳）: Cascadia:11台のAIPC上での975B MoE推論
• Abstract要約: 我々は、11台のIntel Core Ultra X7 358H AI PC上で、カスカディアのInklingの常駐実行を示す。 Inklingのルーティングルールを保存し、OpenVINOの融合したiGPUプリミティブのための圧縮グラフを構築するカスタム常駐MoEエンジンにコントリビュートする。 ストリーミングパイプラインは同時生成をコーディネートし、キャプチャ状態のドラフト評価は、展開された数値パスと一致させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-experts models make nearly trillion-parameter capacity accessible with sparse per-token computation, provided that the serving system can distribute the weights and coordinate their execution. We present Cascadia's resident execution of Inkling, a 975B-total/41B-active-parameter model, on eleven Intel Core Ultra X7 358H AI PCs, each with 64 GB of memory, Arc B390 integrated graphics and gigabit Ethernet. We contribute a custom resident MoE engine that preserves Inkling's routing rules, constructs compressed graphs for OpenVINO's fused iGPU primitives, and coordinates FP16 expert computation with FP32 output restoration. The engine fits six consecutive decoder layers per machine and represents dense feed-forward blocks as all-active expert slices, reducing measured dense-layer call time from approximately 8.1 to 4.5 ms. A streaming pipeline coordinates concurrent generation, while captured-state draft evaluation measures agreement with the deployed numerical path. Paired measurements at fifteen concurrency levels from 1 to 176 streams reach 60.29 aggregate decode tokens/s at 88 streams, with 46.87 tokens/s over the complete serving phases. At fifteen streams, median first-token latency is 6.05 s. Raising the context budget from the 1,024-position default, real prompts of 1k to 64k tokens recover the embedded code in all 19 measured answers, with first-token time growing as $aN+bN^2$ and decode latency growing approximately linearly, both bounded by a single-threaded CPU attention loop rather than by memory, which holds 512k positions per stream. Evaluation on captured fleet states separates the effects of vocabulary selection and weight quantization on draft agreement. Together, these contributions establish an execution and evaluation approach for large sparse models on distributed client systems with shared CPU-GPU memory.
• Abstract（参考訳）: ミクチャー・オブ・エキスパート(Mixture-of-experts)モデルは、ウェイトを分散し、それらの実行を調整できるように、スパース・パー・トーケン計算により、ほぼ1兆パラメートルのキャパシティをアクセス可能にする。 975B-total/41B-active-parameterモデルであるInklingを11台のIntel Core Ultra X7 358H AI PC上で,それぞれ64GBメモリ,Arc B390統合グラフィックス,ギガビットイーサネットで実行した。 我々は、Inklingのルーティングルールを保存し、OpenVINOの融合iGPUプリミティブのための圧縮グラフを構築し、FP32出力復元を伴うFP16エキスパート計算をコーディネートする、独自の常駐MoEエンジンにコントリビュートする。 エンジンはマシン毎の6つのデコーダ層に適合し、高密度フィードフォワードブロックを全アクティブなエキスパートスライスとして表現し、測定された高密度層コール時間を約8.1msから4.5msに短縮する。 1ストリームから176ストリームまでの15並行レベルにおけるペアリング測定は、88ストリームでの60.29アグリゲートデコードトークン/秒、完全なサービスフェーズでの46.87トークン/秒に達する。 15ストリームでは、第1段階のレイテンシの平均は6.05秒である。 1,024ポジションのデフォルトからコンテキスト予算を引き上げると、1kから64kトークンの実際のプロンプトが19の回答すべてに埋め込まれたコードを復元し、最初の処理時間は$aN+bN^2$として成長し、デコードレイテンシはほぼ線形に増加し、どちらもメモリではなくシングルスレッドのCPUアテンションループによってバウンドされる。 捕獲された艦隊状態の評価は、ドラフト合意に対する語彙選択と重み量子化の影響を分離する。 これらのコントリビューションは、共有CPU-GPUメモリを持つ分散クライアントシステム上での大規模なスパースモデルの実行と評価のアプローチを確立する。

関連論文リスト

• VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
  トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。 V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。 ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
  論文  参考訳（メタデータ） (2026-09-14T16:17:35Z)
• Budget-Aware Compression Pipeline for Single-GPU LLM Inference: Methods, Trade-offs, and Coupling Effects [16.273825996642703]
  我々は,現実的な実行下でのプルーニング,量子化,KV-cache圧縮の相互作用を示す。 我々は実用的なパイプラインを構築し、70Bモデルを約33GBに圧縮し、10kトークンプロンプトで約57トークン/秒を持続し、共通および推論ベンチマークで5%以内の絶対精度を維持した。
  論文  参考訳（メタデータ） (2026-08-30T22:54:40Z)
• Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode [0.0]
  CPU上のシングルトークンの自己回帰デコードは、演算ではなくメモリ帯域幅によって拘束される。 このレポートは、最も効果的な反応はモデルアーキテクチャと推論を一緒に設計することであると主張している。 CPUファーストのストリーミングエンジンであるcflowと、パイプラインネイティブなトランスフォーマーアーキテクチャのファミリが同梱されている。
  論文  参考訳（メタデータ） (2026-08-24T21:28:05Z)
• StateSMix: Online Lossless Compression via Mamba State Space Models and Sparse N-gram Context Mixing [0.0]
  StateSMixはオンライントレーニングされたMambaスタイルのステートスペースモデル(SSM)で、スパース n-gram コンテキストの混合と算術符号を持つ。 SSMはBPEトークンに対して連続的に更新された確率推定を提供し、9つのスパースn-gramハッシュテーブルは正確な局所および長距離パターン記憶を付加する。 標準のenwik8ベンチマークでは、StateSMixは1MBで2.123bpb、3MBで2.149bpb、10MBで2.162bp、xz-9e(LZMA2)を8.7%、5.4%、そして2.162bpbを達成した。
  論文  参考訳（メタデータ） (2026-04-05T19:28:11Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA [10.452946241750562]
  Gated DeltaNet(GDN)は、成長するKVキャッシュを固定サイズのリカレントステートに置き換える線形アテンションメカニズムである。 このボトルネックはアルゴリズムではなくアーキテクチャであることが示され、全てのサブクワッド列モデルはデコード時に 1 FLOP/B 未満の演算強度を示す。 オンチップBRAMにおいて,フル2MBのリカレント状態を持続的に保持することにより,このボトルネックを解消するFPGAアクセラレータを提案する。
  論文  参考訳（メタデータ） (2026-03-06T06:03:38Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
  超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。 本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。 チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
  論文  参考訳（メタデータ） (2025-02-20T07:10:43Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。