論文の概要: WaferTetris: Efficient Freeform Mapping on Wafer-Scale Accelerators
- arxiv url: http://arxiv.org/abs/2611.18527v1
- Date: Fri, 13 Nov 2026 18:41:44 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:28:02.943666
- Title: WaferTetris: Efficient Freeform Mapping on Wafer-Scale Accelerators
- Title(参考訳): WaferTetris: ウェハスケール加速器の効率的なフリーフォームマッピング
- Abstract要約: ウエハスケールのアクセラレータは、単一のウエハで接続された数十万の処理要素(PE)を通じて、膨大な計算能力を提供する。
既存のアプローチは生産性を維持するためにテンプレートベースのマッピングに依存しているが、これらのテンプレートはマッピング設計スペースを制限する。
自由形式写像によりこれらの幾何学的制約を除去するWaferTetrisを提案する。
- 参考スコア(独自算出の注目度): 6.1293650255205465
- License:
- Abstract: Wafer-scale accelerators offer massive compute capacity through hundreds of thousands of processing elements (PEs) interconnected across a single wafer, but realizing this potential requires efficient application mapping. Their scale makes programming these systems and mapping applications onto them challenging. Existing approaches rely on template-based mappings to maintain productivity, but these templates restrict the mapping design space. In particular, they impose fixed geometric layouts over the PE grid, often leaving compute and memory resources underutilized. In this work, we present WaferTetris, a system that removes these geometric restrictions through freeform mapping. Its Tetris-like strategy flexibly packs computation across the wafer, improving PE utilization and usable memory capacity while preserving PE-task code. We develop a recurrence-based throughput model that captures branch-and-join dependencies to guide spatial parallelism, and an architecture model with per-color gates that enable existing FPGA place-and-route algorithms to enforce WSE routing constraints. We evaluate WaferTetris on Cerebras WSE-3 using LLM decoding and scientific stencil benchmarks. For LLM decoding, it achieves up to $4.42\times$ the system throughput of a template-based automatic mapping baseline on the same fabric size. Compared with the manually optimized WaferLLM, WaferTetris supports $1.8\times$ the context length for LLaMA3.1-8B (80k versus 44k), while delivering equal or higher per-user throughput at matched context lengths, up to $1.10\times$.
- Abstract(参考訳): ウエハスケールのアクセラレータは、単一のウエハに相互接続する数十万の処理要素(PE)を通じて、膨大な計算能力を提供しますが、この可能性を実現するには、効率的なアプリケーションマッピングが必要です。
彼らのスケールは、これらのシステムをプログラミングし、アプリケーションをそれらにマッピングする。
既存のアプローチは生産性を維持するためにテンプレートベースのマッピングに依存しているが、これらのテンプレートはマッピング設計スペースを制限する。
特に、PEグリッド上に固定された幾何学的レイアウトを課し、しばしば計算資源やメモリ資源を未使用のままにしておく。
本稿では,自由形式写像を用いてこれらの幾何学的制約を除去するWaferTetrisを提案する。
そのTetrisのような戦略は、ウェーハに柔軟に計算を詰め込み、PE使用率を改善し、PEタスクコードを保存しながら使用可能なメモリ容量を向上する。
我々は,空間並列化を導くために分岐と結合の依存関係をキャプチャするリカレンスベースのスループットモデルと,既存のFPGAのプレース・アンド・ルートアルゴリズムでWSEルーティング制約を適用可能なカラーゲート付きアーキテクチャモデルを開発する。
ケレブラスWSE-3のWaferTetrisをLCMデコードと科学ステンシルベンチマークを用いて評価した。
LLMデコーディングでは、同じファブリックサイズでテンプレートベースの自動マッピングベースラインのシステムスループットを最大4.42\timesで達成する。
手動で最適化されたWaferLLMと比較して、WaferTetrisはLLaMA3.1-8B(80k対44k)のコンテキスト長を1.8\times$でサポートしている。
関連論文リスト
- Accelerating Cross-Model LLM Inference via Attention Map Reuse [17.258889774352202]
本報告では,マルチモデルアテンションマップの再利用により,効率的なヘテロジニアスLLMを実現するシステムであるMapFlowについて述べる。
効率的かつ正確な再利用を実現するため,部分再計算と,レイヤやヘッド間の線形変換を併用する。
実験によると、MapFlowはプレフィルのレイテンシを低減し、エンドツーエンドのサービス効率を改善する。
論文 参考訳(メタデータ) (2026-10-10T08:02:52Z) - Scalable Training of Mixture-of-Experts Models with Megatron Core [26.9162079065285]
MOE(Scaling Mixture-of-Experts)トレーニングでは、密集したモデルに欠けているシステムの課題が導入されている。
各トークンは専門家のサブセットのみを活性化するため、このスパーシリティにより、トータルパラメータはトーケン計算よりもはるかに高速に成長できる。
メモリ(微細な再計算,オフロード,通信,計算)の統合最適化により,MoEトレーニングにおけるこれらの課題に対処する。
論文 参考訳(メタデータ) (2026-03-08T15:42:43Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳(メタデータ) (2025-09-27T03:01:48Z) - MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines [28.18421624702502]
本稿では,大規模言語モデル(LLM)のための資源効率の高い微調整フレームワークであるMobiZOを紹介する。
MobiZOは、微調整精度を向上しつつ、実行時の大幅な高速化とメモリ節約を実現する。
MobiZOは、微調整精度を向上しつつ、実行時の大幅なスピードアップとメモリ節約を実現している。
論文 参考訳(メタデータ) (2024-09-23T20:14:09Z) - Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。
バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
論文 参考訳(メタデータ) (2024-07-15T17:55:42Z) - Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。
我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。
LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
論文 参考訳(メタデータ) (2024-06-15T09:31:03Z) - Pipette: Automatic Fine-grained Large Language Model Training Configurator for Real-World Clusters [5.190794062263327]
大規模言語モデル(LLM)の訓練は、膨大な計算能力とメモリ容量の要求のために困難であることが知られている。
本稿では,実世界のクラスタを対象としたLLM自動微粒化トレーニングであるPipetteを提案する。
論文 参考訳(メタデータ) (2024-05-28T11:59:44Z) - MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。
MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。
8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
論文 参考訳(メタデータ) (2023-10-11T17:57:14Z) - On Optimizing the Communication of Model Parallelism [74.15423270435949]
大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。
クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。
本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
論文 参考訳(メタデータ) (2022-11-10T03:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。