論文の概要: Waypoint: Analytically Modeling GEMM for CPUs

• arxiv url: http://arxiv.org/abs/2610.34914v2
• Date: Tue, 27 Oct 2026 06:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.167886
• Title: Waypoint: Analytically Modeling GEMM for CPUs
• Title（参考訳）: Waypoint:CPUのGEMMを解析的にモデル化する
• Abstract要約: ハードウェアの最適タイルサイズと入力行列形状を自動的に識別する新しい解析モデルであるWaypointを提案する。 我々は、Waypointを使用してGEMMを自動的に分解し、最先端のGEMMライブラリにマッチするパフォーマンスを実現する、CPU用の新しいGEMMライブラリOPAMを構築した。
• 参考スコア（独自算出の注目度）: 2.0432840249178312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-performance General Matrix Multiplication (GEMM) implementations rely on breaking down GEMM into carefully selected tiles to achieve peak performance. We present Waypoint, a new analytical model to automatically identify the optimal tile size for a given hardware and input matrix shape. Waypoint estimates the achievable performance for a given tile choice by capturing all the architectural effects including interactions with memory hierarchy, instruction-level parallelism, and multi-threading. Using the estimates as a proxy, we search through the space of possible tile sizes to identify the one that maximizes performance. Additionally, Waypoint helps hardware designers estimate realistic performance on experimental hardware optimizations. We build a new GEMM library OPAM for CPUs that uses Waypoint to automatically break down GEMM and achieve performance that matches state-of-the-art GEMM libraries and helps accelerate LLM inference on CPUs achieving $1.36 - 1.98 \times$ speedups.
• Abstract（参考訳）: GEMM(General Matrix Multiplication)の実装では、GEMMを慎重に選択したタイルに分解してピーク性能を実現する。 ハードウェアの最適タイルサイズと入力行列形状を自動的に識別する新しい解析モデルであるWaypointを提案する。 Waypointは、メモリ階層との相互作用、命令レベルの並列性、マルチスレッドを含むすべてのアーキテクチャ効果をキャプチャすることで、所定のタイル選択の達成可能なパフォーマンスを推定する。 推定値をプロキシとして使用して、可能なタイルサイズの空間を探索して、パフォーマンスを最大化するものを識別する。 さらに、Waypointはハードウェア設計者が実験的なハードウェア最適化で現実的な性能を推定するのに役立つ。 我々は、Waypointを使ったCPU用の新しいGEMMライブラリOPAMを構築し、GEMMを自動的に分解し、最先端のGEMMライブラリにマッチするパフォーマンスを達成する。

関連論文リスト

• SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture [2.2758671443400007]
  エッジデバイス上のLLM推論は、計算資源とメモリリソースによって制約される。 我々は、完全な投機的デコードパイプライン全体にわたって高い利用率を維持するランタイム再構成可能なタイル付きアーキテクチャであるSPECTRAを提案する。
  論文  参考訳（メタデータ） (2026-09-21T16:25:24Z)
• A Machine Learning Approach Towards Runtime Optimisation of Matrix Multiplication [1.5223740593989443]
  本稿では,ADSALA (Architecture and Data-AwareStructure Linear Algebra) ソフトウェアライブラリを構築するための概念実証手法を提案する。 本手法では,与えられたGEMMタスクに対して最適なスレッド数を自動的に選択するために,オンザフライでの機械学習モデルを用いる。 2ソケットのIntel Cascade Lakeと2ソケットのAMD Zen 3をベースとした2つの異なるHPCノードアーキテクチャのテスト結果は、25%から40%のスピードアップを示した。
  論文  参考訳（メタデータ） (2026-01-14T03:28:54Z)
• BlackboxNLP-2025 MIB Shared Task: Exploring Ensemble Strategies for Circuit Localization Methods [64.5040037515574]
  2つ以上の回路ローカライズ手法を組み込むことで性能が向上するかどうかを検討する。 並列アンサンブルでは、各エッジに割り当てられた属性スコアを異なる方法で組み合わせる。 逐次アンサンブルでは、EAP-IGを用いて得られたエッジ属性スコアを、より高価で高精度な回路識別法のためのウォームスタートとして使用する。
  論文  参考訳（メタデータ） (2025-10-08T09:39:40Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Tackling the Dynamicity in a Production LLM Serving System with SOTA Optimizations via Hybrid Prefill/Decode/Verify Scheduling on Efficient Meta-kernels [12.77187564450236]
  本稿では,多機能なAscendネイティブ,エンドツーエンド生産型大規模言語モデル(LLM)サービスシステムであるXY-Serveを紹介する。 中心となる考え方は、計算をきめ細かいメタプリミティブに分解することで、ワークロードの変動を円滑にする抽象化メカニズムである。 GEMMでは,動的形状変化に適応する仮想パディング方式を導入し,高効率な固定タイルサイズGEMMプリミティブを用いた。
  論文  参考訳（メタデータ） (2024-12-24T02:27:44Z)
• EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
  本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。 その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:17:49Z)
• PEM: Prototype-based Efficient MaskFormer for Image Segmentation [10.795762739721294]
  最近のトランスベースのアーキテクチャは、画像セグメンテーションの分野で印象的な成果を上げている。 複数のセグメンテーションタスクで動作可能な効率的なトランスフォーマーベースのアーキテクチャであるPEM(Prototype-based Efficient MaskFormer)を提案する。
  論文  参考訳（メタデータ） (2024-02-29T18:21:54Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Online Multi-Object Tracking and Segmentation with GMPHD Filter and Mask-based Affinity Fusion [79.87371506464454]
  本稿では,インスタンス分割結果を入力として利用するMOTS法を提案する。 提案手法は,ガウス混合確率仮説密度 (GMPHD) フィルタ,階層型データアソシエーション (HDA) モデル,マスクベース親和性融合 (MAF) モデルに基づく。 2つの人気のあるMOTSデータセットの実験では、主要なモジュールがいくつかの改善点を示している。
  論文  参考訳（メタデータ） (2020-08-31T21:06:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。