論文の概要: A Scalable NorthPole System with End-to-End Vertical Integration for Low-Latency and Energy-Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2511.15950v1
• Date: Thu, 20 Nov 2025 00:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.40965
• Title: A Scalable NorthPole System with End-to-End Vertical Integration for Low-Latency and Energy-Efficient LLM Inference
• Title（参考訳）: 低レイテンシかつエネルギー効率のLLM推論のためのエンドツーエンド垂直積分を用いたスケーラブルノースポールシステム
• Abstract要約: このシステムは4ビット整数精度で115ペタオプと18の2Uサーバで3.7PB/sのメモリ帯域を提供する。 システムはスケーラブルでモジュール化され、再構成可能で、さまざまなモデルサイズとコンテキスト長をサポートする。
• 参考スコア（独自算出の注目度）: 22.68022487714072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A vertically integrated, end-to-end, research prototype system combines 288 NorthPole neural inference accelerator cards, offline training algorithms, a high-performance runtime stack, and a containerized inference pipeline to deliver a scalable and efficient cloud inference service. The system delivers 115 peta-ops at 4-bit integer precision and 3.7 PB/s of memory bandwidth across 18 2U servers, while consuming only 30 kW of power and weighing 730 kg in a 0.67 m^2 42U rack footprint. The system can run 3 simultaneous instances of the 8-billion-parameter open-source IBM Granite-3.3-8b-instruct model at 2,048 context length with 28 simultaneous users and a per-user inter-token latency of 2.8 ms. The system is scalable, modular, and reconfigurable, supporting various model sizes and context lengths, and is ideal for deploying agentic workflows for enterprise AI applications in existing data center (cloud, on-prem) environments. For example, the system can support 18 instances of a 3-billion-parameter model or a single instance of a 70-billion-parameter model.
• Abstract（参考訳）: 垂直統合されたエンドツーエンドの研究プロトタイプシステムは、288 NorthPoleのニューラル推論アクセラレータカード、オフライントレーニングアルゴリズム、高性能ランタイムスタック、コンテナ化された推論パイプラインを組み合わせて、スケーラブルで効率的なクラウド推論サービスを提供する。 このシステムは4ビットの整数精度で115ペタオプと18の2Uサーバーで3.7PB/sのメモリ帯域を提供し、消費電力はわずか30kW、重量は730kgで0.67m^2 42Uである。 システムは,8ビリオンパラメータのオープンソースであるIBM Granite-3.3-8bインストラクトモデルの3つの同時インスタンスを,28人の同時ユーザによる2.048コンテキスト長で実行可能で,ユーザ毎のレイテンシは2.8msである。このシステムはスケーラブルでモジュール化され,再構成可能で,さまざまなモデルサイズとコンテキスト長をサポートするとともに,既存のデータセンタ(クラウド,オンプレミス)環境におけるエンタープライズAIアプリケーションのためのエージェントワークフローのデプロイに理想的だ。 例えば、システムは3ビリオンパラメータモデルの18のインスタンスや70ビリオンパラメータモデルの1のインスタンスをサポートすることができる。

関連論文リスト

• Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models [50.733497395381164]
  Agoraは、インターネットグレードリンク上の帯域効率の高いパイプライン並列モデルシャーディングと、複数パーティのフォールトトレラントな集団操作を組み合わせる。 Pluralis-8BはFineWeb-Eduの500Bトークン上の8.6B-パラメータモデルのオープンで無許可の事前トレーニング実行である。
  論文  参考訳（メタデータ） (2026-07-14T23:32:18Z)
• CTA-Pipelining: A Latency-Oriented Spatial Scaling Method for Multi-GPU Systems [2.870762512009438]
  本稿では,共有メモリマルチGPUシステムを活用するための実行パラダイムであるCTA-pipeliningを紹介する。 遅延指向の空間スケーリング手法として、CTAパイプライニングは協調スレッドアレイレベルを活用する。 その結果、CTAパイプライニングはマイクロバッチに比べてレイテンシを最大31.8%削減することがわかった。
  論文  参考訳（メタデータ） (2026-07-08T18:54:08Z)
• ProCUA-SFT Technical Report [80.97543110323542]
  コンピュータ使用エージェント(CUA)の訓練には、全デスクトップ環境で収集された大規模で多様な軌跡データが必要である。 93Kの合成軌道から抽出した3.1MステップレベルのSFTサンプルのデータセットであるProCUA-SFTについて述べる。 ProCUA-SFTの微調整UI-TARS 7Bは、OSWorldで45.0%、ベースモデルよりも18.7ポイント改善されている。
  論文  参考訳（メタデータ） (2026-06-15T22:04:11Z)
• Achieving Cloud-Grade SLOs for Local Mixture-of-Experts Inference through CPU-GPU Hybrid Design [8.264335152062538]
  大規模なMixture-of-Experts(MoE)モデルのローカルデプロイメントは、低コンカレンシーワークロード下であっても、クラウドスケール環境で達成されたサービス品質に劣る。 容量推論モデル(定量化、蒸留、再処理)に依存すること、長いプリフィル(12K以上)で30秒のTTFTに到達できないこと、サブベースラインデコードスループット(20トークン/秒以下)、混合プリフィルデコードとバッチデコードワークロードでの貧弱さ。
  論文  参考訳（メタデータ） (2026-06-09T07:17:34Z)
• TinyML Enhances CubeSat Mission Capabilities [8.462623779881566]
  本稿では,画像分類のための畳み込みニューラルネットワーク(ConvNets)モデル最適化と配置パイプラインを提案する。 我々のパイプラインは、構造化された反復プルーニング、後のINT8量子化、および圧縮モデルへのハードウェア対応オペレータマッピングを統合している。 最適化されたモデルでは、RAM使用率89.55%、フラッシュメモリ709%の平均的な削減が示されている。
  論文  参考訳（メタデータ） (2026-03-20T17:51:07Z)
• Scalable Training of Mixture-of-Experts Models with Megatron Core [26.9162079065285]
  MOE(Scaling Mixture-of-Experts)トレーニングでは、密集したモデルに欠けているシステムの課題が導入されている。 各トークンは専門家のサブセットのみを活性化するため、このスパーシリティにより、トータルパラメータはトーケン計算よりもはるかに高速に成長できる。 メモリ(微細な再計算,オフロード,通信,計算)の統合最適化により,MoEトレーニングにおけるこれらの課題に対処する。
  論文  参考訳（メタデータ） (2026-03-08T15:42:43Z)
• ZeroDVFS: Zero-Shot LLM-Guided Core and Frequency Allocation for Embedded Platforms [7.633618497843279]
  マルチコアプラットフォーム上での熱・エネルギーを考慮したスケジューリングのためのモデルベース階層型マルチエージェント強化学習(MARL)フレームワークを提案する。 第一決定レイテンシはテーブルベースのプロファイリングよりも8,300倍高速で、動的組み込みシステムに実用的なデプロイを可能にする。
  論文  参考訳（メタデータ） (2026-01-13T02:56:06Z)
• Efficient Multi-Model Orchestration for Self-Hosted Large Language Models [2.3275796286410677]
  Pick and Spinは、セルフホストのオーケストレーションと経済性を実現するフレームワークである。 統合されたHelmベースのデプロイメントシステム、適応型スケールツーゼロ自動化、ハイブリッドルーティングモジュールを統合している。 最大21.6%の成功率、30%のレイテンシ、クエリ毎のコストの33%削減を実現している。
  論文  参考訳（メタデータ） (2025-12-26T22:42:40Z)
• LFM2 Technical Report [87.58431408281973]
  LFM2は、デバイス上での効率的なデプロイと強力なタスク機能を実現するために設計された、Liquid Foundation Modelsのファミリーである。 LFM2ファミリーは350M-8.3Bパラメータをカバーしており、密度の高いモデル(350M, 700M, 1.2B, 2.6B)と試験用混合物(合計8.3B, 1.5B)を含んでいる。 視覚遅延タスクのためのLFM2-VL,音声のためのLFM2-Audio,検索のためのLFM2-ColBERTを構築した。
  論文  参考訳（メタデータ） (2025-11-28T17:56:35Z)
• dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
  拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。 本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
  論文  参考訳（メタデータ） (2025-10-09T16:19:42Z)
• TriLiteNet: Lightweight Model for Multi-Task Visual Perception [0.0]
  TriLiteNetは低計算コストを維持しながら性能を最適化するように設計されている。 提案モデルでは,パラメータがわずか0.14Mの小さな構成で,最小限の計算量でマルチタスクのソリューションを提供する。
  論文  参考訳（メタデータ） (2025-09-04T10:48:25Z)
• Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture [3.746889836344766]
  本研究は、SLURM(Simple Linux Utility for Resource Management)に基づく高性能コンピューティングアーキテクチャについて詳述する。 動的リソーススケジューリングとコンテナ化のシームレスな統合は、CPU、GPU、メモリをマルチノードクラスタで効率的に管理するために活用されている。 その結果,大規模HPCインフラストラクチャ上でのLLM推論は,より効率的で応答性が高く,耐故障性に優れた。
  論文  参考訳（メタデータ） (2025-08-25T09:11:27Z)
• Serving Large Language Models on Huawei CloudMatrix384 [28.88558053380112]
  従来のAIクラスタは、計算強度、メモリ帯域幅、チップ間通信、レイテンシの制限に直面している。 本稿では,Huawei CloudMatrixを紹介する。Huawei CloudMatrixは,プロダクショングレードのCloudMatrix384スーパーノードで実現された次世代AIアーキテクチャである。 384 Ascend 910 NPUと192 Kunpeng CPUを超広帯域統一バス(UB)ネットワークを介して相互接続し、直接通信とリソースの動的プールを可能にする。
  論文  参考訳（メタデータ） (2025-06-15T03:41:34Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• Ultra-low Power Deep Learning-based Monocular Relative Localization Onboard Nano-quadrotors [64.68349896377629]
  この研究は、2つのピアナノドロンのディープニューラルネットワーク(DNN)を介して、単分子の相対的な局所化に対処する、新しい自律的なエンドツーエンドシステムを示す。 超制約ナノドローンプラットフォームに対処するため,データセットの増大,量子化,システム最適化などを含む垂直統合フレームワークを提案する。 実験の結果,DNNは低分解能モノクローム画像のみを用いて最大2mの距離で10cmのターゲットナノドローンを正確に局在させることができることがわかった。
  論文  参考訳（メタデータ） (2023-03-03T14:14:08Z)
• RAMP: A Flat Nanosecond Optical Network and MPI Operations for Distributed Deep Learning Systems [68.8204255655161]
  我々は、RAMPと呼ばれるナノ秒再構成による、ほぼスケール、全2分割帯域、オールツーオール、シングルホップ、オール光学ネットワークアーキテクチャを導入する。 RAMPは、最大65,536ノードで1ノードあたり12.8Tbpsの大規模分散並列コンピューティングシステムをサポートしている。
  論文  参考訳（メタデータ） (2022-11-28T11:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。